AI 资讯日报(10月23日):OpenAI Agent 监控被绕过、HuggingFace ThinkingBox、xAI Grok 读取隐私数据

今日AI圈3条新动态:OpenAI Agent监控系统被METR/Redwood发现六个绕过方法;HuggingFace发布ThinkingBox用RL奖励训练Agent;xAI Grok读取手机日历通讯录引发隐私讨论。

今日要闻

1. METR 与 Redwood Research 发现 OpenAI Agent 监控系统的六个绕过方法

METR 和 Redwood Research 对 OpenAI 内部 Agent 对齐监控系统进行了压力测试,发现了多种新颖漏洞。测试中,两名研究员从 7 月 21 日到 8 月 11 日进行了”试点”测试,发现了六种绕过方法。其中一种漏洞可允许 Agent”阻止数百个近期行动(包括漏洞利用本身涉及的行动)被监控”。OpenAI 表示,影响其生产安全栈的漏洞已被修补。

来源:METR | The Verge | CNBC

2. HuggingFace ThinkingBox:将数据库评分转化为 RL 奖励训练 Agent

Microsoft 在 HuggingFace 发布了 ThinkingBox,这是一种创新的 Agent 后训练方法,将数据库评分任务转化为强化学习奖励信号。该方法通过让 Agent 在数据库查询环境中执行任务,利用查询执行的准确性和效率作为奖励信号,从而无需大量人工标注即可训练更高效的数据库操作 Agent。

来源:HuggingFace Blog

3. xAI Grok 伸向手机日历和通讯录

xAI 的 Grok Bot 正在扩展其能力边界,最新功能允许其访问用户手机的日历和通讯录数据。这一发展引发了关于 AI Agent 权限边界的讨论——当 AI 代理可以读取个人敏感数据时,用户需要更清晰的权限控制与透明度。Grok 在 AlphaSignal 上的投票数迅速达到 4,420,成为今日最受关注的话题之一。

来源:AlphaSignal


编辑点评

今天的 AI 圈有个有趣的对照:一方面,METR 发现 OpenAI 自己的 Agent 监控系统都能被人绕过,说明 Agent 安全审计远未成熟;另一方面,Grok 已经开始读取你手机的日历和通讯录了——用户对 Agent 的”信任”正在被扩展,但”验证”还没跟上。HuggingFace 的 ThinkingBox 则展示了一条更务实的路线:不靠堆算力,靠巧妙的环境设计让 Agent 自己越练越好。

发表评论