본문으로 건너뛰기
AI NEWS JOURNAL
钛媒体AI NEWS / JOURNAL

MiniMax M3.1Flash의 출시로 ‘문제 재출’ 의혹이 제기됨: 기존 문제에서는 높은 점수, 신규 문제에서는 작동 불능, 환각률 최대 92.8%

MiniMax는 2026년 10월 19일 저가형 대규모 언어 모델 M3.1Flash를 발표했으며, 종합 평가 점수는 42점이었다. 이 모델의 비용은 이전 세대에 비해 70% 감소했지만, 곧바로 ‘문제 답안 복사’ 의혹에 직면했다. AA에서 공개된 기존 문제에서는 거의 만점을 받았고, 문항을 재구성한 뒤에도 여전히 원래 답안을 제시했다는 것이다. 마오보스와 Binkg 등 평가자들은 이 모델의 신·구 문제 처리 능력 간 단절, 토큰 소모량 이상, 지식 테스트 시 환각 발생률이 무려 92.8%에 달한다는 점을 지적했다. 10월 23일 MiniMax는 모델 가중치를 오픈소스로 공개해 독립적인 검증을 가능하게 했으나, 문제 인식 메커니즘과 한·중·영 문장에 따른 응답 차이의 원인은 아직 명확히 밝혀지지 않았다.

AI 자동 번역

2026년 10월 19일, MiniMax는 경량급 대규모 모델 M3.1Flash를 정식으로 발표하며 비용과 성능 모두에서 획기적인 돌파를 이뤘다고 밝혔다. AA 종합 지능 지수는 42점으로, 지난 6월에 공개된 M3보다 13점 상승했다. 단일 작업의 평균 비용은 불과 0.22달러로, M3의 절반에도 못 미치며 DeepSeek V4.1 Flash-1017의 0.26달러보다도 낮다. API 가격은 토큰 입력 100만 개당 0.15달러, 출력 100만 개당 0.60달러로, 이전 세대의 약 절반 수준이다. 서비스 오픈 후 72시간 만에 처리한 토큰 수가 100조 개를 넘어섰고, OpenRouter 플랫폼의 7일간 무료 호출량은 13.7조 개에 달해 전체 3위를 기록했다.

그러나 높은 점수와 저렴한 가격이 곧바로 의문의 대상으로 떠올랐다. AI 평가 블로거 Binkg는 AA-Omniscience의 생산 관리 문제를 선정해 재작성 테스트를 실시했다: ‘장기 계획’을 ‘중기’로, ‘신규 공장 수량/위치/규모’를 ‘주생산계획 완료에 필요한 인력/설비/생산능력’으로 교체했으며, 정답은 RRP에서 RCCP로 변경되어야 한다. DeepSeek V4.1 Flash-1017과 Gemini 4 Argon은 모두 변화에 맞춰 응답했지만, M3.1Flash는 여전히 RRP를 출력했다. 작성자는 이 실험을 재현했고 결과는 일치했다; 그러나 같은 재작성 문제를 중국어로 번역한 뒤 새 대화를 시작하자, M3.1Flash는 다시 정답을 제시했다.

더 깊은 의구심은 고양이 사장이 주도하는 비공개 순위 ‘치즈’의 관측에서 비롯된다: M3.1 Flash는 기존 문제에 대한 유지율에서 거의 만점을 기록한 반면, 신규 문제에서는 거의 점수가 없으며, 어려운 문제조차 약 1만 토큰만으로 정답을 맞혔고, 평균적으로 한 문제당 4만 토큰 이상을 소모하는 것과 비교하면 소모 패턴과 추론 논리가 명백히 부합하지 않는다. AA-Omniscience 지식 테스트는 더욱 심각한 모순을 드러냈다: 정답률은 56.2%로 M3보다 39.5%포인트나 상승했지만, 환각률은 무려 92.8%에 달해 100문제 중 약 41문제를 오답 처리함을 의미하며, 이는 M3의 18.4%와 Gemini 3.8 Flash의 55.2%를 크게 웃도는 수치이다.

주목할 점은, M3.1Flash의 익명 초기 버전 ‘Space Bunny Alpha’(스페이스 버니 알파)가 2026년 9월 OpenRouter에 출시되어 열흘 연속 호출 수 1위를 기록했으며, 누적 처리 토큰 수가 200조 개를 넘어섰다는 것이다. 10월 23일에는 MiniMax가 계획대로 모든 모델 가중치를 공개해 연구자들이 오프라인에서 재검증할 수 있도록 했으나, 학습 데이터와 요청 로그는 아직 공개하지 않았기 때문에 ‘문제를 베껴 쓰는지 여부’는 여전히 확증되지 않았다—이는 평가 문제에 대한 과적합일 수도 있고, 개념 혼동 또는 인터페이스 측의 특수한 응답 메커니즘 때문일 수도 있다. 또한 중국어와 영어 간 성능 차이, 환각 현상과 높은 점수가 동시에 나타나는 등의 현상들은 추가적인 독립적 검증이 시급하다.

자료 출처

钛媒体

관련 주제

← 전체 소식 이어 읽기