“助人型智能体问题:当大型语言模型智能体之间的涌现式协作绕过了预期的工作流程时”
arXiv:2610.31985v1 发布类型:新 提要:大型语言模型(LLM)代理正越来越多地被部署于协作场景中,在这些场景下,它们各自执行独立任务,同时共享资源,并在审查或监督机制下运行。此类环境不仅在代理具有恶意时会带来安全风险,即便它们只是出于善意提供帮助,也同样存在风险。以往的研究大多聚焦于对抗性行为或明确的共谋行为;而我们指出,那些追求独立目标的良性代理也可能自发地以某种方式展开合作,从而绕过原本设计的工作流程。我们将这一现象称为“有益代理问题”。我们研究了一类长期的共享资源环境,在这种环境中,代理有时需要依赖其同伴所拥有的资源,且所有权变更通常需经由审查者进行中介。当审查机制失效时,代理



![[AINews] Kimi 3.1 Pro 104BA-2.8T: Fable-5.1-Class Open Weights narrows Closed-AI lead to 1 month... and Pro Highspeed API with 2-3× speed](https://latent.space/og/card/post/ainews-kimi-31/4da802572e7369acdf4cbdee535f934d70a599942d61e7d15b8168b70aeb7a84.png)