今日要闻
1. METR 与 Redwood Research 发现 OpenAI Agent 监控系统的六个绕过方法
METR 和 Redwood Research 对 OpenAI 内部 Agent 对齐监控系统进行了压力测试,发现了多种新颖漏洞。测试中,两名研究员从 7 月 21 日到 8 月 11 日进行了”试点”测试,发现了六种绕过方法。其中一种漏洞可允许 Agent”阻止数百个近期行动(包括漏洞利用本身涉及的行动)被监控”。OpenAI 表示,影响其生产安全栈的漏洞已被修补。
2. HuggingFace ThinkingBox:将数据库评分转化为 RL 奖励训练 Agent
Microsoft 在 HuggingFace 发布了 ThinkingBox,这是一种创新的 Agent 后训练方法,将数据库评分任务转化为强化学习奖励信号。该方法通过让 Agent 在数据库查询环境中执行任务,利用查询执行的准确性和效率作为奖励信号,从而无需大量人工标注即可训练更高效的数据库操作 Agent。
3. xAI Grok 伸向手机日历和通讯录
xAI 的 Grok Bot 正在扩展其能力边界,最新功能允许其访问用户手机的日历和通讯录数据。这一发展引发了关于 AI Agent 权限边界的讨论——当 AI 代理可以读取个人敏感数据时,用户需要更清晰的权限控制与透明度。Grok 在 AlphaSignal 上的投票数迅速达到 4,420,成为今日最受关注的话题之一。
来源:AlphaSignal
编辑点评
今天的 AI 圈有个有趣的对照:一方面,METR 发现 OpenAI 自己的 Agent 监控系统都能被人绕过,说明 Agent 安全审计远未成熟;另一方面,Grok 已经开始读取你手机的日历和通讯录了——用户对 Agent 的”信任”正在被扩展,但”验证”还没跟上。HuggingFace 的 ThinkingBox 则展示了一条更务实的路线:不靠堆算力,靠巧妙的环境设计让 Agent 自己越练越好。