マイクロソフトとHugging FaceがThinkingBoxフレームワークをオープンソース化：データベースの最終状態を確定的な報酬信号として用い、エージェントの強化学習後訓練を推進
マイクロソフトとHugging Faceは共同でオープンソースフレームワーク「ThinkingBox」を発表しました。このフレームワークは、LLMエージェントが実行した後の実際のデータベースの最終状態と期待される状態を比較し、0/1の二値報酬を生成することで強化学習による微調整に用いられます。また、それに伴うベンチマーク「ThinkingBox-Bench」には507の実際のバックエンドタスクが含まれており、いずれのタスクも学習に使用されていません。Qwen3.8-27Bは50ステップのGRPOによる微調整を経た結果、ホールドアウトテストセットにおいてpass@1が9.08ポイント向上し、Observed 20/20は約3倍に増加しました。ただし、一部の領域ではpass@20が低下しており、これは広範さと安定性のトレードオフを反映しています。