跳到正文
AI NEWS JOURNAL
arXiv cs.CLAI NEWS / JOURNAL

临床医生主导构建可验证安全守则:为心理健康聊天机器人设置可追溯的守卫层

2026年10月24日,arXiv发布论文arXiv:2610.30690v1,提出一种由两名临床医生主导定义、定稿与裁决的四条安全检查规则库,经形式化验证后作为守卫层应用于心理健康场景下的大语言模型(LLM)输出。该守卫层所有判断均可从一条命名规则和十六个事实复现,旨在提升安全性判断的可解释性与可检验性。

2026年10月24日,一篇题为《From Clinical Judgment to Checkable Rules: Clinician-Led Guardrails for Mental-Health Chatbots》的论文在arXiv平台发布(编号arXiv:2610.30690v1),提出一种面向心理健康聊天机器人的新型安全守卫机制。该机制由两名临床医生全程主导,定义、定稿并裁决四条安全检查规则,构成一个形式化验证内部一致性的规则库,并将其作为守卫层部署于大语言模型(LLM)输出之上。

与常见方法(如提示工程、LLM-as-a-Judge、宪法AI)不同,该守卫层强调临床判断的可追溯性:每一项验证结论均可从一条明确命名的规则及十六个具体事实完全复现。研究使用Llama-3.3-70B模型开展对照实验——当该模型以‘裁判’身份运行时,对65条已含危机资源(如988/911)的回复中,错误要求重复提供资源达55次(84.6%);而作为‘事实抽取器’时,能准确识别其中54条;守卫层则依设计永不触发此类冗余需求。

研究同时报告了该方案的实测权衡:一次规则规范修订导致边界提示上的过度拒绝率从6.0%升至16.0%,主因是事实抽取模块调整;临床医生最终决定保留作者设定的不确定性默认处理机制。论文强调,其核心贡献并非直接产出‘更安全的判决’,而是构建了一个分歧可定位(至具体规则与事实)、成本可归因(至特定事实或不确定性默认)的透明化守卫框架。

资料来源

arXiv cs.CL

相关主题

← 继续阅读全部动态