LinkedIn 团队构建生成式 AI 产品的经验教训

产品功能：
- 基于LinkedIn信息流和职位，帮助用户评估职位匹配度、了解公司动态、提供面试和简历建议等。
技术架构：
- 路由：确定查询范围并转发至相应AI智能体（如职位评估、公司理解、帖子总结等）。
- 检索：决定调用哪些服务及其方式（例如LinkedIn用户搜索，Bing搜索）。
- 生成：根据获取的信息、原始问题和上下文生成答案。

团队协作的挑战
- 初期方法：按智能体划分小组，各自负责开发，缺点是提示词、对话历史和安全防护重复建设，用户体验不一致。
- 改进措施：一个小组负责公共和底层框架，多个小组负责垂直方向智能体优化，实现共享提示词模板、集中解决安全防护、统一用户体验。
数据检索的挑战
- 数据更新快且未被大语言模型训练，需要自然语言转化为API调用。
- 举例：用户询问“推荐西雅图待遇好的公司”，通过LLM将自然语言转化为API参数，调用后生成最终答案。
稳定生成结构化数据
- 使用YAML格式而非JSON，容错率更高。
- 日志记录常见错误并优化解析器，不可解析时交给LLM修复，不断优化提示词，错误率从10%降至0.01%。
减少幻觉、降低延迟和提升吞吐量
- 减少幻觉：使用CoT（思维链）提升质量，但增加延迟。
- 流式输出：提升用户体验，但复杂流程有挑战。
- 异步非阻塞管道：优化服务吞吐量，避免I/O阻塞线程浪费资源。
评估生成结果的质量
- 难点：标准难制定，数据标注难规模化，自动化困难。
- 解决方案：
  - 工程师快速粗略评估，得到大致指标。
  - 标注员提供细致反馈，约需1天。
  - 团队成员进行全面评估，可能超3天。

近期新闻