本文へ移動
AI NEWS JOURNAL
arXiv cs.CLAI NEWS / JOURNAL

研究では、「図式整合性尺度」(SCI)を提案し、言語モデルの信念の組織性を評価した。

2026年10月26日、arXivは論文arXiv:2610.31683v1を公開し、Schema Coherence Inventory(SCI)——すなわち96項目からなる強制選択型尺度——を提案した。これは、ペルソナ条件付き言語モデルに付与された信念が、単に感情的反応を引き起こすだけでなく、実際にその認知を組織化しているかどうかを検証するためのものである。

AI 自動翻訳

2026年10月26日、arXivに掲載された新たな研究(論文番号:arXiv:2610.31683v1)は、Schema Coherence Inventory(SCI、図式一致性量表)を正式に提案し、ペルソナ条件付き言語モデルが患者や感情エージェントを模倣する際に直面する重要な課題——すなわち、モデルが本当に内化した信念に基づいて行動しているのか、それとも単に情動の喚起によって表面的に一貫した反応を示しているだけなのか——を解決することを目指しています。

SCIは96問の選択式問題から構成され、ベックの認知モデルの8つのレベルを網羅しています。各設問には6つの選択肢が用意されており、それぞれ3種類の負の自己スキーマとその正の対照に相当します。採点は長さを正規化した対数尤度値を用い、本文生成や解析は一切不要です。その核心的な判定基準は「目標特異性」であり、すなわち特定の信念のために構築された条件が、他の同種のスキーマ条件よりもその信念をより頻繁に活性化しなければならないというものです。

本研究は、6つの検証実験を通じて、5種類の異なるパラメータ規模(17億~140億)の言語モデル上で107種類の条件テストを実施しました。9名の臨床訓練を受けた評価者が、予め設定された信念を79.5%の正確度で識別することができました(ランダムレベルは16.7%)。さらに、30の信念項目すべてにおいて、有意なターゲット特異性の向上(+17.7点)が確認されました。SCIプロファイルは、30回の自由生成において24回正しく一致し、偶然期待される5回を大きく上回りました。加えて、48項目の簡易版と元の尺度との間には、相関係数r = 0.73が認められました。

公開されている6つの患者シミュレーターの実際の活用事例において、いずれも単一文による記述よりも、その主張する核心的信念を効果的に伝えるものはありませんでした。本研究は、この検証手法が認知構念とそれに伴う感情を分離し、臨床判断をゴールドスタンダードとして用いることで、言語モデルにおける感情および信念の測定に適用可能な拡張性のあるテンプレートを提供することを強調しています。著者らは、全項目、採点コード、および簡易版尺度を同時に公開しています。

情報源

arXiv cs.CL

関連テーマ

← すべてのニュースへ