Cohere 提示词优化器概述
工具简介
- 名称: Cohere 提示词优化器
- 功能: 自动优化生成模型的提示词，提升模型输出质量。
- 上线时间: 已进入公测阶段。
重要性
- 提示词优化关键性: 合适的提示词对获取最佳输出至关重要。
- 工作效率提升: AI 工程师在提示词工程上花费 20-30% 的时间，提示词调优器能显著提高这一过程的效率。
性能表现
- 内部评估结果: 在 94% 的用例中成功优化了提示词。
- 具体改进案例: 辅助故障排除问答的提示词评估分数从 72% 提升至 95%。
使用步骤
- 设置初始提示词: 创建初始提示词并包含变量或文档。
- 定义成功标准指标: 确立提示词的成功标准，如准确性、字符数限制等。
- 获取优化后的提示词: 模型根据成功标准生成优化后的提示词。
优化流程
- 生成完成结果：目标模型基于初始提示词生成完成结果。
- 评估完成结果：将生成结果提交评估服务，以获得标准化分数。
- 启用 Command R+：指令生成模型处理数据生成改进提示词。
- 迭代优化：重复优化循环，直到达到理想提示词或最大迭代次数。
质量提升
- 实验覆盖范围: 涵盖摘要生成、客户支持和代码生成等 41 个企业用例。
- 内部评估:
- 平均提升 11.5%，中位数提升 7.7%。
- 自然语言到 SQL 用例得分从 39% 提升到 100%。
- 实体提取得分从 73% 提升到 93%。
优化示例
- 初始提示:
${document} 你将收到一张扫描并进行光学字符识别（OCR）的账单。提取相关信息并以以下格式提供JSON对象：{"billDate": "", "dueDate": "", "billNo": "", "serviceAddress": "", "accountNo": "", "totalAmount": "", "previousBalance": "", "paymentAmount": "", "consumptionCharges": "", "otherCharges": "", "currency": "", "country": ""} 每个提取的字段应具有"key"、"format"和"content"属性。日期'billDate'和'dueDate'必须为YYYY-MM-DD格式。确保所有数值转换为字符串。如果某个值不可用，使用"content": "NotAvail"。提供ISO-3166格式的“国家”和ISO-4217格式的“货币”。 - 优化提示:
${document} 从账单中提取以下字段：账单日期、到期日期、账单编号、服务地址、账户编号、付款详情（总金额、以前余额和付款金额）、消耗费用、其他费用、货币和国家。将你的回答结构化为包含上述字段的JSON对象，确保日期为YYYY-MM-DD格式，数值提取准确，货币遵循ISO 4217标准，国家符合ISO 3166标准。如果某个值无法提取，请使用“NotAvail”作为内容。示例响应：{ "billDate": "YYYY-MM-DD", "dueDate": "YYYY-MM-DD", "billNo": "BILL_NUMBER", "serviceAddress": "ADDRESS", "payments": [ { "total_amount": "TOTAL_AMOUNT", "previous_balance": "PREVIOUS_BALANCE", "payment_amount": "PAYMENT_AMOUNT" } ], "consumption_charges": "CONSUMPTION_CHARGES", "other_charges": "OTHER_CHARGES", "currency": "ISO_4217_CURRENCY_CODE", "country": "ISO_3166_COUNTRY_CODE" }
获取工具
- 访问链接: Cohere 仪表板
- 详细文档: 提示词调优器文档
总结
Cohere 提示词优化器通过系统化、自动化的方式显著提升生成模型提示词的质量和效率，对企业和AI工程师具有重要价值。
Source:https://baoyu.io/translations/cohere/intro-prompt-tuner
