生成式 AI 路由总结
1. 路由概念及应用
- LinkedIn 的 AI 产品架构中，路由（Routing）模块用于处理复杂应用中的不同任务。
- 不同任务交由专门的模型或智能体负责，例如简历评估和公司资讯分别由相应的智能体处理。
2. 路由的好处
- 任务优化：特定任务可优化，如简历评估智能体根据目标公司和职位实时检索招聘信息，结合简历做优化。
- 团队分工：便于团队分工，每个小团队负责一个智能体。
- 成本节约：不同任务使用合适的模型，简单任务用便宜且快速的模型如 GPT-4o mini，而非 GPT-4。
3. 实现方式
- 路由通常通过“意图分类器（Intent Classification）”实现，根据用户输入预测其意图并路由到相应解决方案。
- 示例：重置密码——> 路由到密码重置页面；纠正账单错误——> 路由到人工操作员；排除技术问题——> 路由到故障排除模型。
4. 安全护栏及请求过滤
- 意图分类器还可作为安全护栏和请求过滤，当用户请求与产品无关的问题时，礼貌拒绝或要求附加说明，无需进一步处理。
5. 分类器模型选择
- 意图分类器可基于通用模型或专门分类模型实现，专门分类模型通常比通用模型更小、更快。
- LinkedIn 使用小型专用模型进行路由。
6. 应用场景
- 路由适用于复杂且有一定规模的应用，对于不复杂的应用，可能无需使用路由。
