トークナイザーなしでも依然として存在するギャップ:ホモグリフおよび非表示文字による透かしの言語間公平性
arXiv:2610.36432v1 公表タイプ:新規 要旨:ホモグリフおよび非表示文字による透かしは、編集ベースの透かしです。モデルがテキストを生成する方法を変更するのではなく、テキストが生成された後にその中に信号を隠す手法です。同形異義文字(見た目は同じか非常に似ているがUnicodeコードポイントが異なる文字)に置き換えたり、表示されない文字を挿入したりすることで、テキストを生成したモデルへのアクセスなしに実現します。生成時透かしは、トークナイザーがテキストを分割する方式のため、リソースが限られた言語では効果が低下します。これらの透かしは個々の文字単位で動作するため、トークナイザーには一切影響を与えません。そこで、こうした透かしがこのギャップを回避できるのかという疑問が生じます。24種類の文字体系に属する40の言語バリエーションを対象に、各文字が持つ隠蔽ビット数(容量)と、そのうちどれだけが