微软提出全自动AI框架Auto Evol-Instruct
-
简介
- Auto Evol-Instruct是微软研究人员开发的一种新型全自动AI框架，能够在无需人为干预的情况下演进指导数据集。
-
框架特点
- 自动分析输入指令并制定演进规则。
- 通过LLMs自主设计和优化演进方法，确保复杂性和稳定性。
- 提高数据集的复杂性和多样性，增强LLMs在各种任务中的性能和适应性。
-
性能评估
- 使用10K个演进的ShareGPT数据对Mixtral-8x7B微调，在MT-Bench上达到8.09分，AlpacaEval上达到91.4分，超过GPT-3.5-Turbo和WizardLM-70B，与Claude2.0相当。
- 使用7K个演进的GSM8K训练数据，框架在GSM8K上达到82.49分。
- 在代码生成方面，通过使用20K个演进的Code Alpaca对DeepSeek-Coder-Base-33B进行微调，在HumanEval上达到77.4分，超过其他竞争模型。
-
基准测试表现
- 框架在多个基准测试（MT-Bench、AlpacaEval、GSM8K和HumanEval）中表现出色，展现出其在提高指令遵循、数学推理和代码生成能力方面的潜力。
-
总结
- Auto Evol-Instruct展示了通过自动化演进指导数据集的方法，可以有效提高大型语言模型的性能和适应性，节省人力资源和时间成本。
