IT之家 10月30日付の報道によれば、利用者数が少ない言語を用いるユーザーは、英語やその他の主要言語のユーザーに比べて、AIサービスを利用する際により高い料金を支払う必要がある場合がある。
現地時間28日、海外メディアRest of Worldの報道によると、人工知能言語公平性研究連盟が先月発表した研究では、AIモデルが異なる言語を処理する際、消費するトークン（単語要素）の数に大きな差が生じることが明らかになった。
トークンとは、AIモデルがテキストなどのデータを処理する際の基本単位であり、トークナイザーによってテキスト、画像、音声などが分割されて生成される。研究者らは、こうした言語ごとの追加コストを「トークナイザー税」と呼んでおり、ネット上のコンテンツが少ない言語ほど特に影響を受けやすいと指摘している。
研究によれば、インターネット上で最も広く使われている20の言語であっても、トークン消費量には顕著な差があり、最大で最小の1.5～5倍に達する。さらにテスト対象を200の言語に拡大すれば、その差はさらに大きくなる。あるAIモデルにおいては、異なる言語間でトークン消費量が最大で17倍もの差を示した。
著者声明：この画像はAIによって生成されたものです
研究報告書は、バンガロールのスタートアップ企業がAIに命令を入力し回答を得るたびに、オースティンの競合企業に比べてより高いコストを負担している可能性があると指摘している。「トークナイザー税」がもたらす問題は、費用の上昇だけではない。消費するトークンが多いほど、AIの応答は遅くなり、効果的に処理できる文脈情報の量も減少する。
計算資源やネットワーク環境がもともと限られている地域では、その影響はとりわけ深刻である。トークナイズ処理における不平等は、人々がAI経済に参加する機会を制限する要因にもなっている。
インド初のAI投資に特化したベンチャーファンド「Activate AI」の共同創設者プラティユシュ・チョードリー氏は、英語以外の言語を使用する場合、同じコンテキスト容量では収容できる文書や対話記録がより少なくなり、AIによる回答生成も一段と困難になると指摘しました。
チョードリー氏は、教育を例に挙げて次のように説明しました。「教師が生徒をうまく指導するためには、これまで生徒がどのようなミスを犯し、どのような説明を受けたかを覚えておく必要があります。ある言語を使うと、こうした履歴情報がすぐにコンテキストウィンドウを埋め尽くしてしまい、結果的に教育の質まで影響を受けることになります。」
チョードリー氏は、言語処理の効率性は、正確性や速度、信頼性と同様に、AI製品にとって基本的な要件であるべきだと考えています。「すべての言語に完全な平等な扱いを求めるのは現実的ではないかもしれませんが、長年にわたり存在する大きな格差については、合理的な説明と改善計画が必要です。主要なAI研究機関がそれぞれの言語に関する評価結果を公表し、異なる言語で同じ難易度のタスクをこなす際にそれぞれどの程度のコストがかかるのかを示し、最も弱い立場にある言語への支援を改善し、定量的な進展を達成することを約束してほしいと思います。」
IT之家の報道によると、この問題を改善する方法の一つは、基盤となるデータの質を向上させることだそうです。
ムンバイのAI音声インフラストラクチャー系スタートアップ企業Navana.aiの共同創設者兼CEOラウル・ナナヴァティ氏は、「オープンデータプロジェクトはこの点で非常に重要です。例えば、インド科学アカデミーと協力し、ゲイツ財団の助成を受けているRESPINプロジェクトでは、38種類の方言の母語話者から提供されたテキストや朗読音声を収集しています」と述べました。
しかし、人工知能言語公平性研究連盟の調査では、トークン消費量を左右するのは単にその言語の使用人数だけではなく、どの文字体系を採用しているかも重要な要素であることが明らかになっています。
例えば、アストゥリアス語の話者は多くありませんが、Common Crawlのデータセットには収録されていません。それでも、ラテン文字を用いることで優位性を得ています。また、イタリア語などロマンス諸語に属する言語がデータに一定程度含まれていることも、アストゥリアス語に恩恵をもたらしています。
Maya ResearchのCEOディマント・レディ氏は、現在多くの形態素解析器が主に英語などデータ資源が豊富な言語向けに最適化されているため、根本的な問題は高品質なデジタルデータの不足にあると指摘しました。
レディ氏は、訓練データの改善だけでは不十分であると強調しました。「トークン価格は急速に下落しており、料金差による直接的な影響は徐々に軽減されるはずです。より優れた多言語データや合成データもモデルの品質向上に寄与します。しかし、異なる言語間の分詞における格差を真に縮小するためには、AIラボは依然として次世代の分詞器の設計を専用で改良し、それらがこれらの言語や文字をより適切に処理できるようにする必要があります。」