要旨：AIアプリケーションは、推論が必要かどうかを判断する前にしばしばモデルを呼び出します。このデフォルトの動作は曖昧な生成タスクには有用ですが、構造化され、決定論的で、ポリシーに従い、照会中心であり、あるいは直接検証可能な処理には適していません。KORAは、決定論的優先の実行制御を導入します。これは、リクエストをタスクパスとして表現し、まず決定論的または構造化された経路を試行し、その結果を検証・テレメトリを記録した上で、決定論的な処理だけでは不十分な場合にのみモデル候補の経路へと切り替える、事前推論型の制御層です。本稿では、KORAを決定論的優先の実行制御アーキテクチャとして提案し、再現可能なベンチマークおよび検証ワークロードによる限定的な実証結果を報告します。再現可能な100タスクからなる決定論的要素の強いベンチマークにおいて、KORAによる制御下での実行は、素朴な直接ベースラインに比べて100件中80件のモデル呼び出しを回避し、決定論的サブセットにおいては不一致がゼロでした。このワークロードは意図的に決定論的要素が重視されており、FAQ照会、ポリシー／ルールのチェック、スキーマやフォーマットの検証、決定論的変換といったカテゴリに加え、モデルが必要となる曖昧なタスクや生成タスクも一部含まれています。さらに、別途用意した合成のカスタマーサポート向けローカル／非ネットワーク環境における検証ワークロードでは、アプリケーションに即した設定下で経路の測定とモデル呼び出しの回避状況を示しています。これらの結果は、文書化されたワークロードにおいてモデル呼び出しの抑制と検証の可視性の向上を支持するものですが、実運用時の挙動や実際のプロバイダーによる成果、エネルギー効率、APIコストの削減、あるいは広範な優位性を示すものではありません。
投稿履歴
論文へのアクセス：
PDFを表示
HTML（実験的）
TeXソース
追加機能
音声要約
現在の閲覧コンテキスト：
参考文献・引用
Google Scholar
Semantic Scholar
ブックマーク
機関
arXivLabsは、共同作業者が当社のウェブサイト上で新しいarXiv機能を直接開発・共有できるフレームワークです。
arXivLabsを利用する個人および組織は、オープン性、コミュニティ、卓越性、そしてユーザーデータのプライバシーという当社の価値観を積極的に受け入れ、尊重しています。arXivはこれらの価値観に固くコミットしており、それらを遵守するパートナーのみと協力しています。
arXivのコミュニティに価値をもたらすプロジェクトのアイデアをお持ちですか？arXivLabsについて詳しくご覧ください。