阿里巴巴联合中国人民大学高瓴人工智能学院,刚刚开源了一个叫 LOGOS 的模型。这玩意儿挺有意思,它是全球第一个基于统一科学语法的跨领域科学生成式基础模型。
最让我惊讶的是它的效率。通常大家觉得模型越大越好,但 LOGOS 似乎打破了这个规则。
- 参数对比:LOGOS 的 LOGOS-1B 版本只有 10 亿 (1B) 个参数。
- 性能表现:在六项科学任务里,它的表现不输甚至超过了微软刚发布的 NatureLM。
- 差距:NatureLM 有 8 × 7B (56B) 个参数。
- 结论:简单算一下,LOGOS-1B 用约 1/56 的参数量,就干翻了微软那个大家伙。
技术上是咋做到的?
LOGOS 的核心在于它把科学数据“翻译”成了一种通用的语言。
- 统一离散序列:以前蛋白质、小分子这些科学对象,大家用的编码方式都不一样,根本没法交流。LOGOS 设计了一套共享的词汇表,把所有这些乱七八糟的对象都编码成统一的 token 序列。
- 把空间关系变文字:以前处理复杂的 3D 空间结构(比如分子怎么互相作用)特别麻烦,还得输入坐标。LOGOS 搞了个“思维链式空间构建”,直接让模型通过序列预测就能把空间关系“想”出来。说白了,就是让模型在一个平面的文本空间里,就能搞定原本需要 3D 坐标的复杂理解。
对开发者最友好的地方:
传统的科研玩法很折腾,不同阶段得换不同的模型,部署的时候还得搞一大堆微调(Fine-tuning),累得半死。LOGOS 从架构上把这个痛点给解决了:
- 格式对齐:LOGOS 预训练时的数据格式,跟它下游任务要输入、输出的格式完全一样。
- 拿来即用:因为格式对齐了,开发者直接就能激活模型的生成能力,不用再去搞什么复杂的适配层,省了不少事。
目前,阿里巴巴已经把 LOGOS 的权重、推理代码和技术报告全部开源了,估计很多人会盯着看。
注:文中提到的 Microsoft 是微软公司,NatureLM 是微软推出的自然语言模型,Alibaba 是阿里巴巴集团。
