UniExit：異種エッジAI向けの統合遅延意識型早期終了ランタイム
arXiv:2611.09159v1 発表タイプ：新規 要旨：エッジアプリケーションでは、CNNベースの認識とエッジ展開可能なTransformerベースの言語モデルを組み合わせるケースが増加していますが、リソース制約のあるデバイス上でこのような異種ワークロードをデプロイするのは困難です。これは、推論レイテンシが入力の難易度および実行時のハードウェア状態の両方に依存して変動するためです。早期終了推論は中間段階で処理を終了することで計算量を削減しますが、既存手法は多くの場合モデル固有であり、動的なエッジ環境下では陳腐化する静的なレイテンシプロファイルに依存しています。本論文では、異種エッジAI向けの統一されたレイテンシ-awareな早期終了ランタイムであるUniExitを提案します。UniExitはCNNブロックとTransformer層を順序付けられたステージとして抽象化し、モデル固有の品質メカニズムを維持しつつ、共通のレイテンシ-awareルーティングポリシーを適用します。実行時状態と推論進捗から次の終了点に到達する際のコストを予測し、バジェット-awareな継続/終了判断を行います。UniExitは、実行時状態-awareなレイテンシ予測、キャッシュベースの予測再利用、トレンド-awareフォールバック、およびCNN固有の終了安定化を組み合わせることで、オーバーヘッドが低く堅牢なオンライン制御を実現します。我々は複数のエッジおよびエッジ-クラウドプラットフォーム上でUniExitを実装し、代表性のあるCNNおよびTransformerベースの言語モデルワークロードを用いて評価しました。単一ワークロード、同時実行中の異種ワークロード、およびエッジ-クラウド設定のいずれにおいても、UniExitは既存のプログレッシブ推論ベースラインに比べて、締切満足度とレイテンシ-精度のトレードオフを一貫して改善するとともに、冗長な終了モジュール計算やタスクレベルのエネルギー消費も削減します。
