IT之家 10월 30일 보도에 따르면, 사용자 수가 적은 언어를 사용하는 경우 AI 서비스 이용 시 영어 및 기타 주요 언어 사용자보다 더 높은 비용을 부담할 수 있다고 합니다.
현지 시간으로 28일, 외신 Rest of World의 보도에 따르면, 인공지능 언어 공정성 연구 연합이 지난달 발표한 연구에서 AI 모델이 서로 다른 언어를 처리할 때 소모되는 토큰(단어 단위) 수가 매우 큰 차이를 보일 수 있다는 사실이 밝혀졌습니다.
토큰은 AI 모델이 텍스트와 같은 데이터를 처리하는 데 사용되는 기본 단위로, 분석기(Tokenizer)가 텍스트, 이미지 또는 오디오를 각각의 단어로 분리하여 생성합니다. 연구진은 이러한 과정에서 발생하는 추가 비용을 ‘분석기 세금’이라고 부르며, 온라인 콘텐츠가 상대적으로 적은 언어는 특히 이 영향을 크게 받을 수 있다고 지적했습니다.
연구 결과, 인터넷에서 가장 널리 사용되는 20개 언어조차도 토큰 소비량에 명백한 차이가 있으며, 최대 차이는 최소값의 1.5~5배에 달한다고 합니다. 만약 테스트 범위를 200개 언어로 확대한다면 그 격차는 더욱 커질 것입니다. 실제로 한 AI 모델에서는 서로 다른 언어 간 토큰 소비량이 최대 17배까지 차이가 나기도 했습니다.
저자의 고지: 이 이미지는 AI가 생성한 것입니다.
연구 보고서는 방갈로르의 한 스타트업이 AI에 명령을 입력하고 답변을 받을 때마다 오스틴에 있는 경쟁업체보다 더 높은 비용을 지불할 수 있다고 지적합니다. ‘분석기 세금’으로 인해 발생하는 문제는 비용 증가에만 국한되지 않습니다. 토큰 소비가 많아질수록 AI 응답 속도는 느려지고, 효과적으로 처리할 수 있는 문맥의 양도 줄어들게 됩니다.
특히 컴퓨팅 자원과 네트워크 환경이 제한적인 지역에서는 그 영향이 더욱 심각합니다. 분석 과정에서의 불평등은 사람들에게 AI 경제에 참여할 기회마저 제약하게 됩니다.
인도 최초의 AI 전문 투자 벤처펀드 Activate AI의 공동설립자 프라티유시 초두리는 비영어권 언어를 사용할 경우, 동일한 컨텍스트 용량으로 처리할 수 있는 문서와 대화 기록의 양이 더 적어지고 AI가 생성하는 답변 역시 훨씬 더 어려워진다고 지적했다.
초두리는 교육을 예로 들어 설명하며 다음과 같이 말했다. “교사가 학생들을 잘 가르치기 위해서는 학생들이 이전에 어떤 실수를 했는지, 어떤 설명을 들었는지를 기억해야 합니다. 특정 언어를 사용할 때 이러한 과거 기록들이 컨텍스트 창을 순식간에 가득 채우게 되면 결국 교육의 질까지 영향을 받게 됩니다.”
초두리는 언어 처리 효율성이 정확성, 속도, 신뢰성과 마찬가지로 AI 제품의 기본 요건이 되어야 한다고 주장했다. “모든 언어가 완전히 동등한 대우를 받도록 하는 것은 아마 현실적이지 않겠지만, 오랜 기간 지속되어 온 큰 격차는 여전히 합리적인 설명이 필요하며 개선 계획도 마련되어야 합니다. 저는 모든 주요 AI 연구소들이 각 언어별 평가 결과를 공개하고, 서로 다른 언어로 동일한 난이도의 작업을 수행하는 데 각각 얼마의 비용이 드는지 명시하며, 가장 취약한 언어 지원을 개선하기 위한 구체적이고 측정 가능한 진전을 약속하기를 바랍니다.”
IT之家의 보도에 따르면, 이 문제를 개선하는 방법 중 하나는 기반 데이터의 품질을 높이는 것이라고 한다.
뭄바이의 AI 음성 인프라 스타트업 Navana.ai의 공동설립자 겸 CEO 라울 나나바티는 다음과 같이 말했다. “오픈 데이터 프로젝트는 이 분야에서 매우 중요합니다. 예를 들어, 우리와 인도 과학원이 협력하고 게이츠 재단의 후원을 받는 RESPIN 프로젝트에서는 38개의 방언 화자들이 제공한 텍스트와 음성 녹음 자료를 수집했습니다.”
그러나 인공지능 언어 형평성 연구 연합은 토큰 소비량을 결정하는 요인이 단순히 해당 언어의 사용자 수만이 아니라, 어떤 문자 체계를 사용하느냐도 중요하다는 점을 밝혀냈다.
예를 들어, 아스투리아스어는 사용자가 많지 않고 Common Crawl 데이터셋에도 포함되지 않았지만, 라틴 문자를 사용한다는 점이 그에게 유리하게 작용했다. 또한 이탈리아어 등 로망스어족에 속하는 언어들이 데이터에 일부 반영되어 있기에 아스투리아스어 역시 그 혜택을 누릴 수 있었다.
Maya Research의 CEO 디만트 레디는 현재 많은 분석기들이 여전히 영어 등 데이터 자원이 풍부한 언어에 맞춰 주로 최적화되어 있으며, 근본적인 문제는 고품질의 디지털 데이터 부족에 있다고 지적했다.
레이디는 훈련 데이터를 개선하는 것만으로는 충분하지 않다고 강조했다: “토큰 가격은 매우 빠르게 하락하고 있으며, 비용 차이로 인한 직접적인 영향은 점차 완화될 것으로 보입니다. 더 나은 다국어 데이터와 합성 데이터 역시 모델의 품질을 높이는 데 기여합니다. 그러나 서로 다른 언어 간의 분자(Tokenizer) 차이를 실질적으로 줄이려면, AI 연구소는 여전히 차세대 분자기 설계를 특별히 개선하여 이들 언어와 문자를 보다 효과적으로 처리할 수 있도록 해야 합니다.”