Amazon SageMaker TTSサービスによる測定駆動型の自動スケーリングの実現:Kokoro-82Mモデルを例として
AWSブログでは、テキスト音声変換(TTS)モデルをSageMakerのリアルタイムエンドポイントにデプロイする際の、経験に基づく推測に頼らない実証的な自動スケーリング手法について紹介しています。この手法は、Q_max(単一インスタンスで持続可能な最大同時リクエスト数)とT_total(計画的スケーリングに要する時間)という2つの実測指標を基に、再現性と検証可能性を備えたスケーリング戦略を構築します。