开放学者（OpenScholar）：科研助手的革命性突破
概述
开放学者（OpenScholar）是AI2研究团队开发的一款强大的文献综述写作工具。它利用其庞大的知识库——OpenScholar-Datastore (OSDS)，包含4.5亿篇开放访问论文和2.37亿段嵌入文章，帮助科研人员快速、准确地完成文献综述。
核心技术
OpenScholar-Datastore
- 数据量：4.5亿篇开放访问论文，2.37亿段嵌入文章。
- 工作流程：
- 使用检索器和重新排序模型（re-ranker）快速筛选相关文献片段。
- 利用语言模型（LM）提供完整且附带引用的回答。
- 根据用户自然语言反馈持续改进答案。
模型训练与评估
训练数据生成
- 使用OpenScholar的自我反馈检索增强推理机制，生成高质量的训练数据。
- 首先选择数据库中被引最多的论文，并基于摘要生成信息查询问题。
- 通过OpenScholar的推理过程生成高质量答案及其中间反馈。
模型评估
- 创建SCHOLARQABENCH测试平台：
- 包含2967个专家编写的文献综述问题，覆盖计算机科学、物理学、生物医学和神经科学四个领域。
- 使用自动化指标和人类评估结合的方式进行全面评估。
实验结果
- 性能表现：OpenScholar在SCHOLARQABENCH测试中显著优于其他模型，并且在某些领域甚至超过了人类专家。
- 在计算机科学领域，OpenScholar-8B的准确性比GPT-4高出5%，比PaperQA2高出7%。
- 引用准确度与人类专家相当，而GPT-4的引用伪造率为78-90%。
结论
开放学者（OpenScholar）不仅能够帮助研究人员节省大量时间和精力，还能提高文献综述的质量和效率。预计在未来不久，它将成为科研人员不可或缺的重要助手。
