
2026年10月24日,一项名为TauIndianBankBench的新评估基准在arXiv平台(论文编号2610.30161v1)正式发布。该基准聚焦印度零售银行业场景,旨在更精准地衡量工具调用型对话代理在真实业务流程中的合规表现。
TauIndianBankBench包含1000个模拟客户协助任务,覆盖如挂失银行卡、关闭存款账户等典型操作。与常规基准仅检查对话结束时系统记录不同,它同步验证代理是否执行了全部规定步骤(例如‘关闭定期存款前必须先获取结清报价’),并确认未引入任何用户未请求的变更。
研究指出,若仅依据最终记录评判,6.5%至12.0%的会话会被错误判定为成功——实际存在跳过必要步骤或擅自修改状态等问题。这一发现揭示了现有评估方式对程序遵从性缺乏敏感性,可能误导模型在金融场景下的部署可靠性判断。