本文へ移動
AI NEWS JOURNAL
AI NEWS / ONE EVENT. MANY PERSPECTIVES.

トークナイザーなしでも依然として存在するギャップ:ホモグリフおよび非表示文字による透かしの言語間公平性

arXiv:2610.36432v1 公表タイプ:新規 要旨:ホモグリフおよび非表示文字による透かしは、編集ベースの透かしです。モデルがテキストを生成する方法を変更するのではなく、テキストが生成された後にその中に信号を隠す手法です。同形異義文字(見た目は同じか非常に似ているがUnicodeコードポイントが異なる文字)に置き換えたり、表示されない文字を挿入したりすることで、テキストを生成したモデルへのアクセスなしに実現します。生成時透かしは、トークナイザーがテキストを分割する方式のため、リソースが限られた言語では効果が低下します。これらの透かしは個々の文字単位で動作するため、トークナイザーには一切影響を与えません。そこで、こうした透かしがこのギャップを回避できるのかという疑問が生じます。24種類の文字体系に属する40の言語バリエーションを対象に、各文字が持つ隠蔽ビット数(容量)と、そのうちどれだけが

1 件の報道arXiv cs.CL ↗

arXiv:2610.36432v1 公表タイプ:新規

要旨:ホモグリフおよび非表示文字による透かしは、編集ベースの透かしです。モデルがテキストを生成する方法を変えるのではなく、テキストが生成された後にその中に信号を隠す手法です。具体的には、見た目は同じか非常に似ているもののUnicodeコードポイントが異なる文字に置き換える、あるいは表示されない文字を挿入することで、テキストを生成したモデルへのアクセスなしに実現します。生成時透かしは、トークナイザーがテキストを分割する方式のため、リソースが限られた言語では効果が低下します。これらの透かしは個々の文字単位で作用するため、トークナイザーに影響を与えません。そこで、こうした透かしがこの課題を回避できるのかを検討しました。24の文字体系に属する40の言語 variété について、各文字が担う隠蔽ビット数(容量)、日常的な処理や意図的な除去によってどれだけ残存するか、さらに鍵付き検出器が識別するために必要なテキスト量を測定しました。容量は最大3.3倍の幅で変動し、その変動の96%は文字体系によるものです。ラテン文字体系内では、リソースレベルによる有意な差は認められませんでした(ρ=+0.095、p=0.78)が、文字体系間ではリソースが低い言語ほどホモグリフが少ない文字体系を用いる傾向があるため、容量はリソースレベルとともに増加しました(ρ=+0.54、95%信頼区間[+0.14、+0.83])。通常のコピー&ペーストでは非表示文字が除去されるため、そのギャップは拡大します。結果として、検出器が識別するのに必要な情報量は、英語やペルシャ語では約2コードポイントであるのに対し、ラオ語では93コードポイントにもなります。トークナイザーを排除しても不平等は解消せず、むしろその原因源が変わるにすぎません。