AI 自動翻訳
2026年10月24日、TauIndianBankBenchという名称の新たな評価基準がarXivプラットフォーム（論文番号2610.30161v1）で正式に公開されました。この基準はインドの小売銀行業界のシナリオに焦点を当て、ツール呼び出し型対話エージェントが実際の業務プロセスにおいて示すコンプライアンス性能をより正確に測定することを目的としています。
TauIndianBankBenchには、銀行カードの紛失届けや預金口座の解約など、典型的な業務を網羅した1,000件の模擬顧客支援タスクが含まれています。通常のベンチマークでは対話終了時点でのシステム記録のみを確認するのに対し、このベンチマークではエージェントが規定された全手順を実行しているか（例えば「定期預金を解約する前に必ず残高精算の見積もりを取得しなければならない」）を同時に検証し、ユーザーが要求していない変更が一切導入されていないことを確認します。
研究によると、最終的な記録のみを基準に評価した場合、会話の6.5％から12.0％が誤って成功と判定されてしまう——実際には、必要な手順の飛ばしや状態の勝手な変更といった問題が存在している。この発見は、既存の評価手法がプログラムの遵守性に対して十分な感度を備えていないことを示しており、金融シーンにおけるモデルの導入時の信頼性判断を誤らせるおそれがある。