分析报告：人工智能代理的安全问题
摘要
随着人工智能技术的迅速发展，许多公司已经推出了能够自主与环境互动并完成任务的人工智能（AI）代理。然而，行业领导者OpenAI尚未推出其版本的AI代理，这引发了对其延迟发布的疑问。
主要观点
-
“提示注入”攻击：
- 据《信息》的一份报告称，OpenAI的延迟发布与其对“提示注入”（prompt injection）攻击的关注有关。这类攻击可使恶意第三方操控AI模型。
- 例如，在用户指示AI代理在线搜索和购买商品时，AI可能会无意间访问一个恶意网站，该网站可能指令AI遗忘之前的命令甚至登录用户的电子邮件以盗取信用卡信息。
-
高安全风险：
- 自主操作计算机的AI代理面临更高的安全风险。如果这些代理被黑客攻击，它们可能导致用户文件和数据的重大损失。
- 一名OpenAI员工指出，虽然任何大型语言模型（LLM）都存在被攻击的风险，但AI代理的自主能力使这种风险更加严重。
-
案例研究：
- 去年，一位安全研究人员展示了如何轻松操控微软的Copilot AI以泄露敏感组织数据，包括电子邮件和银行交易记录。
- 此外，该研究员成功地让Copilot用其他员工的风格撰写邮件。
- OpenAI自己的ChatGPT也遭受了提示注入攻击。研究人员通过上传第三方文件（如Word文档）成功植入虚假“记忆”。
-
竞争对手的对比：
- OpenAI员工对竞争对手Anthropic采取“放手”方式发布其AI代理表示惊讶，后者仅建议开发者“采取措施隔离Claude与敏感数据”，而没有实施更严格的安保措施。
-
未来展望：
- 据报道，OpenAI可能会在本月推出其代理软件。然而，人们不禁质疑开发团队是否已赢得足够时间来为其产品建立更强的安全保护机制。
