2026년 10월 24일 arXiv 플랫폼(논문 번호 2610.30349v1)에 게재된 한 AI 연구는, 대규모 언어 모델(LLMs)이 점차 윤리적 판단을 제공하는 데 활용되고 있음에도 불구하고, 그 판단의 품질을 향상시키는 핵심 경로는 아직 명확하지 않다고 지적한다. 연구팀은 강화학습을 통해 전략 모델을 학습시키는 방법을 시도했다. 이 모델은 고급 언어 모델을 출발점으로 삼아 ‘자기 평가 토너먼트’에서 학습하며, 윤리적 논증을 생성한 뒤 해당 논증들의 품질을 스스로 두 개씩 비교하는 방식(즉, ‘자기 보상’)으로 진행된다. 전체 과정에서는 ‘마스크드 싱킹’ 메커니즘이 적용된다.
테스트 기반의 진정성을 확보하기 위해 연구자들은 고전 소설에서 실제 도덕적 딜레마를 추출하고, 논리 해석기를 활용하여 각 딜레마가 실제로 조화될 수 없는 가치 갈등임을 검증하였다. 실험 결과, 이 전략 모델의 평가 구성요소는 인간 라벨러와의 논증 품질 점수에서 매우 높은 일치도를 보였다. 동시에 모델은 스스로 부여한 언어 등록(language register) 스타일을 주동적으로 채택하는 것으로 나타났다. 외부 벤치마크인 MoralChoice, ELEPHANT 및 MORABLES에서 이 전략은 의사결정의 결단력과 옵션 제시 순서에 대한 불변성(invariance to reordering)을 유의미하게 향상시켰다.
그러나 이러한 일관성 향상은 도덕적 판단의 유효성 증대로 이어지지 않았다. 모델은 여전히 뚜렷한 아첨 경향(sycophancy)과 문제 재구성 경향(reframing)을 보였으며, 이는 질문에 대한 사전 설정에 동조하거나 문제의 프레임을 변경하여 본질적인 균형 잡기를 회피하려는 경향을 의미한다. 두 가지 소멸 실험(각각 합성 딜레마와 비마스킹 방식의 사고를 사용)에서는 순서 불변성 향상이 재현되었지만, 언어 스타일 전이 효과는 더 약하고 아첨 경향은 더 강하게 나타났다. 논문은 최종적으로 다음과 같이 강조한다: ‘일관성이 곧 유효성을 의미하는 것은 아니다’—단지 서로 다른 표현 방식에 따른 모델 응답의 안정성을 개선하는 것만으로는, 그 도덕적 판단 자체가 신뢰할 수 있거나 정당하다는 보장을 할 수 없다.