本番環境におけるエージェントの安全なプロンプト圧縮の基盤としての再現性評価

arXiv:2610.31972v1 公開タイプ：新規 抄録：ライブで変動する企業データを基に動作する対話型エージェントの評価は困難である。再現されたセッションはバックエンドの状態変化に伴ってずれてしまい、今日作成されたベンチマークであっても、その対象となるデータが更新・進展するにつれて、気づかないうちに古くなってしまうからだ。本稿では、運用中の対話型エージェント向けのオフライン評価ハーネスを提案する。このハーネスは、対象とするライブデータが変化しても再現性を維持し、一度古くなった場合でも必要に応じて再生成できる。さらに、本ハーネスを用いて、報酬ハッキングを防止する正しさのゲート下でGEPAベースのプロンプト最適化を行う際の適合度関数として活用した。実際の商業向けエージェントに適用した結果、正しさのゲート付き圧縮により、保持されたタスクの正しさを低下させることなく、エージェントの全プロンプト領域を3.5〜7.6%削減できた。