AI 뉴스 검색

연구진이 라틴어 전용 언어 모델 LAMB와 두 개의 새로운 말뭉치인 Acervus 및 Corpus Trinum을 발표했습니다.

2026년 10월 26일, arXiv는 논문 arXiv:2610.31723v1을 발표하여 라틴어 전용 엔코더인 Latin Modern BERT(LAMB)를 제안했다. 이 모델은 ModernBERT 아키텍처를 기반으로 하며, 두 단계의 사전훈련 과정을 거쳤고, 740억 개가 넘는 라틴어 토큰과 새로운 형태론적 감지 마스크 전략을 사용한다. 동시에 두 개의 완전히 새로운 라틴어 코퍼스도 공개했는데, 하나는 240억 개의 토큰을 포함하는 Acervus로, 여기에는 ByT5를 통해 복구된 OCR 오류 텍스트 76만 건이 포함된다. 또 다른 하나는 최초로 인공적으로 구축된 라틴어 의미 트리플 데이터셋 Corpus Trinum으로, 강/약 트리플이 1억 개를 상회한다.

추천 이유：이 연구는 고전 언어 NLP의 기초 자원 부족을 해소하고, 라틴어의 의미 이해를 위한 대규모 사전훈련 모델과 이를 지원하는 평가 벤치마크를 최초로 체계적으로 구축했으며, 엄밀한 실험을 통해 LAMB가 17개 하위 과제 중 16개에서 우위를 보임을 입증함으로써 명확한 기술적 기여와 재현 가능성을 확보했습니다. 모든 결론은 arXiv 논문 초록 및 사실 추출 내용에 엄격히 부합하며, 외부 정보는 전혀 도입되지 않았습니다.

연구에 따르면 보상 모델 점수에는 유의미한 힌트 의존성이 존재하며, 쌍으로 이루어진 평가는 이러한 편향을 탐지할 수 없다는 사실이 밝혀졌다.

2026년 10월 24일 arXiv에 게재된 한 AI 연구 논문은, 현재 주류를 이루는 쌍방향(pairwise) 평가 방법이 동일한 프롬프트 하에서 모든 응답에 공통적으로 존재하는 점수 구성 요소를 자동으로 상쇄하여, 보상 모델에서 핵심적인 ‘프롬프트 수준의 편향’이 검증되지 않았다고 지적한다. 저자들은 인간 평가를 기준으로 삼아 이미 발표된 18개의 평가기를 대상으로 감사를 실시한 결과, HelpSteer2 데이터셋에서 6개 모델의 점수 분산 중 최대 34%~64%가 프롬프트 자체에 기인하며, 반면 인간 평가는 이러한 현상이 거의 나타나지 않는다는 사실을 발견했다.

추천 이유：이 연구는 대규모 언어 모델의 정렬 과정에서 오랫동안 간과되어 온 근본적인 결함을 지적한다—보상 모델의 점수가 응답의 품질 자체가 아니라 프롬프트 텍스트에 크게 의존한다는 점이다. 또한 해당 연구의 방법론(인간 기준 감사, 프롬프트 교체, 분산 분해)은 재현 가능하며, 그 결론은 실증적 분석에 기반하고 여러 주요 오픈소스 평가 도구를 포괄하므로, 선호도 최적화, RLHF 및 안전성 평가 실무에 대한 직접적인 시사점을 제공한다.

AutoSynthData: 기업 대리인을 위한 훈련 자료 생성

AutoSynthData: 기업 대리인을 위한 훈련 자료 생성