AI 自动翻译
摘要：用户向智能体发出的任务指令往往存在明显的语义不明确问题，尤其是在安全边界方面，这极易引发行为风险。为研究此类风险，我们提出了BARC-Bench基准，该基准包含9个模拟工作空间环境中的110项任务，其中良性请求可能为不安全操作留下可乘之机。在这一基准中，我们依据工作空间记录、隐含的环境背景以及未明示的社会规范所设定的安全边界，对智能体的行为进行评估。例如，当智能体被要求安排离职面谈时，必须在不通过共享日历邀请过早泄露员工辞职信息的前提下组织会议。通过对四种前沿模型配置在每项任务上进行五次尝试的评估发现，这些模型并未表现出持续的安全性：在全部五次尝试中均安全完成的任务占比介于9.1%至72.7%之间，即便是表现最强的配置，在27.3%的任务中仍发生了安全违规。这些结果凸显了一种非对称的运营风险：尽管模型能够频繁完成复杂的流程，但其难以始终遵守那些未明示的边界，这成为实现安全自主委托的一大障碍。
提交历史
访问 Paper：
查看PDF
HTML（实验性）
TeX 源代码
附加功能
音频摘要
当前浏览上下文：
参考文献与引用
谷歌学术
语义学者
书签
机构
arXivLabs 是一个框架，允许合作者直接在我们的网站上开发并共享新的 arXiv 功能。
无论是个人还是与 arXivLabs 合作的机构，都已认同并践行我们所倡导的开放、社区、卓越以及用户数据隐私等价值观。arXiv 致力于坚守这些价值观，并且只与同样秉持这些理念的合作伙伴开展合作。
您是否有一个能为 arXiv 社区创造价值的项目构想？欢迎了解更多关于 arXivLabs 的信息。