AI 뉴스 검색

연구에 따르면 보상 모델 점수에는 유의미한 힌트 의존성이 존재하며, 쌍으로 이루어진 평가는 이러한 편향을 탐지할 수 없다는 사실이 밝혀졌다.

2026년 10월 24일 arXiv에 게재된 한 AI 연구 논문은, 현재 주류를 이루는 쌍방향(pairwise) 평가 방법이 동일한 프롬프트 하에서 모든 응답에 공통적으로 존재하는 점수 구성 요소를 자동으로 상쇄하여, 보상 모델에서 핵심적인 ‘프롬프트 수준의 편향’이 검증되지 않았다고 지적한다. 저자들은 인간 평가를 기준으로 삼아 이미 발표된 18개의 평가기를 대상으로 감사를 실시한 결과, HelpSteer2 데이터셋에서 6개 모델의 점수 분산 중 최대 34%~64%가 프롬프트 자체에 기인하며, 반면 인간 평가는 이러한 현상이 거의 나타나지 않는다는 사실을 발견했다.

추천 이유：이 연구는 대규모 언어 모델의 정렬 과정에서 오랫동안 간과되어 온 근본적인 결함을 지적한다—보상 모델의 점수가 응답의 품질 자체가 아니라 프롬프트 텍스트에 크게 의존한다는 점이다. 또한 해당 연구의 방법론(인간 기준 감사, 프롬프트 교체, 분산 분해)은 재현 가능하며, 그 결론은 실증적 분석에 기반하고 여러 주요 오픈소스 평가 도구를 포괄하므로, 선호도 최적화, RLHF 및 안전성 평가 실무에 대한 직접적인 시사점을 제공한다.

새로운 연구는 오픈북 평가가 주로 지식 저장보다는 읽기 행동을 측정한다는 점을 밝혀냈다.

2026년 10월 24일에 발표된 arXiv 논문(2610.31017v1)은 문서 수준의 LoRA 어댑터 평가에서 오픈북 스코어링이 어댑터가 해당 문서의 지식을 실제로 인코딩했는지 여부보다는 모델의 즉각적 읽기 능력에 크게 의존한다고 지적했다. 무작위 어댑터는 오픈북 과제에서 전문가용 어댑터의 우위를 82%까지 재현할 수 있었지만, 비소스 텍스트를 대상으로 한 클로즈 과제에서는 단 2%만 재현되었으며, 이는 통계적으로 영과 구별되지 않았다.

추천 이유：이 연구는 체계적인 제어 실험(위키백과 문서 150편, Llama-3.1-8B-Instruct 모델, 이중 작업 비교)을 통해 현재의 오픈북 평가 패러다임의 근본적 한계를 밝혀냈다. 즉, 이 패러다임은 ‘읽기’와 ‘암기’를 효과적으로 구분하지 못하며, 지식 편집 및 검색형 어댑터의 실제 효용성에 대한 방법론적 도전 과제를 제기한다. 또한 논문에서는 ‘깨끗하지만 잘못된 결과’를 초래하는 네 가지 침묵 오류를 보고하여 재현성 위험을 부각시켰다.

연구에서는 정치적 논쟁 담화에서 미명시된 논증(엔티메) 식별에 관한 주석상의 이견 문제를 해결하기 위해 새로운 평가 방법과 모델을 제안하였다.

이 논문은 백신 접종과 이민 문제에 관한 트윗 데이터를 기반으로 하며(각 트윗은 다섯 명의 주석자가 독립적으로 주석을 달음), 기존 미세조정 모델들이 엔티메메 검출 과제에서 F1 점수가 항상 약 0.67에 머무는 현상을 발견했다. 이에 따라 저자들은 단일 레이블 평가 패러다임을 포기하고, 대신 주석자의 의견 분포를 정확히 표현할 수 있는 새로운 지표를 도입하며, 해당 분포를 직접 예측할 수 있는 모델을 설계함으로써 F1 점수를 낮추지 않으면서도 인간 판단의 이견을 보다 잘 포착할 수 있다고 제안한다.

추천 이유：이 논문은 NLP 분야에서 오랫동안 간과되어 온 ‘주석자 간 이견이 본질적 특징이다’라는 현실을 정면으로 다룬다—특히 정치적으로 민감한 맥락에서는 엔티메의 식별이 주관적 추론에 크게 의존한다. 그 방법론적 전환(점예측에서 분포예측으로)과 담화 구조의 한계를 실증적으로 드러낸 점은 콘텐츠 검열 시스템 설계에 분명한 경고를 제공한다: 다수결 기반 학습 모델은 깊이 있는 맥락 추론이 필요한 은닉된 논증을 체계적으로 간과할 수 있다.

저자원 언어에서의 연구 진전 및 언어적 포용성 측정

arXiv:2610.30296v1 발표 유형: 신규 초록: 대규모 언어 모델(LLMs)은 저자원 및 다국어 NLP에 대한 연구를 가속화했지만, 이들이 공평한 연구 환경을 조성하는 데 얼마나 효과적인지는 아직 명확히 규명되지 않았습니다. 우리는 2020년부터 2025년까지 출판된 1,158편의 동료 심사 오픈 액세스 논문을 분석하여, 저자원 언어(LRLs)에 대한 연구 관심도와 언어 및 사용자 집단 전반에 걸친 표현 수준을 검토합니다. 출판 건수 외에도 언어적 포용성을 평가하기 위해, 우리는 언어적 포용성 프레임워크(LIF)를 도입합니다. 이는 연구 성장, 표현 확대, 표현 지속성, 그리고 분포적 형평성 등 네 가지 차원에서 언어적 포용성을 측정하는 다차원적 체계입니다. 연간 출판물 수는 52건에서 415건으로 5.4배 증가했으며, ACL Antholo

아마존 세이지메이커 AI가 다중 라운드 강화학습(MTRL) 프레임워크를 출시하여, 엔드투엔드 방식으로 에이전트가 다단계 작업을 완수하도록 지원합니다.

AWS는 Multi-Turn Reinforcement Learning(MTRL) 기능을 출시하여, 사용자가 SageMaker AI에서 전체 작업 궤적과 최종 결과 피드백을 바탕으로 대규모 모델 에이전트를 단계별 주석 없이 학습할 수 있도록 지원합니다. Wordle을 예시로 삼아 AgentCore 배포, 데이터 준비, GRPO 학습, 보상 설계 및 비용 분석에 이르는 전 과정을 시연합니다.

바이엘 크롭사이언스는 Amazon Bedrock AgentCore를 기반으로 다중 에이전트 의사결정 엔진 ADE를 구축했습니다.

바이엘 크롭사이언스는 기존의 Connected Decision Engine(CDE)을 대체하는 것이 아니라 이를 보강하는 층으로서, 육종 전문가, 분석가 및 연구자를 위한 자연어 기반 다중 에이전트 플랫폼인 Agentic Decision Engine(ADE)을 Amazon Bedrock AgentCore 위에 구축했습니다. 이 시스템은 현재 프로덕션 환경에 배포되어 100명 이상의 R&D 사용자에게 서비스를 제공하고 있으며, 22개의 도메인 특화형 에이전트와 약 20개의 API 도구를 통해 문제의 약 80%를 자가 해결할 수 있도록 하고 있습니다.

아마존 세이지메이커가 코코로-82M TTS 모델을 출시하여, AI 음성 에이전트의 저지연 스트리밍 음성 합성을 지원합니다.

AWS는 SageMaker에서 호스팅되는 Kokoro-82M 텍스트 음성 변환 모델을 활용한 기술 솔루션을 발표했으며, 양방향 WebSocket을 통해 AI 에이전트가 텍스트를 생성하는 동시에 음성을 합성함으로써 엔드투엔드 음성 응답 지연 시간을 크게 단축했습니다. 이 솔루션은 Base64-SSE와 통합 바이너리 전송이라는 두 가지 오디오 피드백 방식을 제공하며, ‘가치 검증형’(proof-of-value)으로 명시되어 아직 생산 준비 상태에 이르지 않았습니다.

NVIDIA 코스모스 플랫폼 업그레이드: 세계 모델을 위한 학습, 평가 및 배포 도구 체인 추가

NVIDIA는 Cosmos 플랫폼을 확장하여 Cosmos Data Factory 블루프린트, Cosmos Framework 학습 최적화 도구 및 Cosmos 3 NIM 마이크로서비스를 출시했으며, 이를 통해 다중 모달 데이터 생성, GR00T·QWEN 등 오픈소스 세계 모델의 적응, 그리고 낮은 지연 시간 추론을 지원합니다. 포르쉐, ANYbotics, Ultralytics, ADNOC 등은 이미 실제 적용을 시작했습니다.

딥 인사이트: AWS 오픈소스 다중 에이전트 시스템이 5대 생산급 도전 과제를 어떻게 해결하는가

AWS 솔루션 아키텍처 팀이 선보인 오픈소스 다중 에이전트 시스템 Deep Insight는 CSV 데이터의 자동 분석과 자연어 보고서 생성을 위한 시나리오를 대상으로 하며, 생산 환경에서 흔히 발생하는 다섯 가지 주요 과제—에이전트 오케스트레이션, 역할 기반 모델 선택, 안정적인 운영, 안전한 코드 실행 및 관찰 가능성—에 대해 체계적으로 대응합니다. 또한 이 시스템은 LG전자와 re:Invent 2025 TechRecon 등 실제 환경에서 이미 검증된 바 있습니다.

블랙스톤의 AI 사업 책임자 자스 카이라: AI 인프라 부채에 대한 우려는 과장되어 있다

블랙스톤의 AI 사업 책임자인 자스 카이라는 테크크런치 디스럽트 컨퍼런스에서, AI 인프라 분야의 막대한 부채에 대한 시장의 공포가 과도하게 확대되었다고 밝혔다. 그의 핵심 논거는 다음과 같다: 해당 부채는 주로 마이크로소프트, 메타 등 신용등급이 높은 고객들과 체결된 장기 계약에 의해 뒷받침되며, 하부 자산(예: GPU 등) 역시 강력한 담보 가치를 지니고 있어 위험 구조가 2008년 은행 시스템과는 본질적으로 다르다는 점이다.

NVIDIA가 Confidential Bare Metal을 출시하여, 최첨단 대규모 모델의 안전한 대규모 배포를 지원하기 위해 기밀 컴퓨팅 역량을 확장했습니다.

NVIDIA는 기밀 컴퓨팅(Confidential Computing) 기술을 확장하여, 기밀 베어메탈 배포 옵션을 추가한다고 발표했습니다. 이를 통해 최첨단 모델 개발자들은 제3자 인프라에서 민감한 AI 워크로드를 베어메탈 방식으로 실행하면서도 모델과 데이터를 완전히 통제할 수 있게 되었습니다. 이 기능은 Grace Blackwell 및 Rubin 플랫폼에 이미 통합되어 있으며, Google Cloud, Cohere 등 파트너사에서도 채택되고 있습니다.

Tenex의 AI 네이티브 SDLC 구축: 포춘 2000대 기업을 위한 에이전트 기반 개발 실무

설립 18개월 된 AI 원생 소프트웨어 기업 Tenex는 출력 지향 보수, MetaHarness 프레임워크 및 Opus 5.5를 기반으로 한 AI 에이전트 워크플로우를 통해 포춘 2000대 기업의 약 절반을 고객으로 두고 있습니다. 이 회사의 모델은 프로세스 표준화, 비코딩 방식의 가치 재평가, 그리고 기업 수준의 AI 도입에서 발생하는 ‘마지막 1마일’ 문제 해결에 중점을 두고 있습니다.

VocabX: 비용 가중 어휘 전문화를 통해 도메인 특화 소형 언어 모델의 추론 비용을 77% 절감

Dharma-AI는 VocabX 방법을 제안하여, 포르투갈어 작문 자동 채점과 같은 특정 작업에 맞춰 언어 모델의 어휘표를 재구성함으로써 단어 빈도가 아닌 단어 비용을 최적화 목표로 삼습니다. 모델 구조, 파라미터 또는 학습 프로세스를 수정하지 않은 상태에서, 실험 결과 추론 비용이 77% 감소하는 동시에 평가 점수(bench score)가 0.703에서 0.810으로 향상되었습니다.

TorchNeuron 시스템 수준 성능 분석(제1부): AWS Trainium 칩 기반 엔드투엔드 프로파일링

이 글은 Hugging Face와 Amazon이 공동으로 발표한 기술 블로그 시리즈의 첫 번째 편으로, AWS Trainium AI 가속 칩에서 TorchNeuron을 활용한 PyTorch 모델 추론 성능 분석 방법을 체계적으로 소개합니다. 여기에는 Neuron 백엔드 통합 원리, torch.profiler 구성 방법, NeuronConfig 및 NeuronProfiler 도구의 사용법, Neuron Explorer를 이용한 시각적 추적 등이 포함되며, RMSNorm을 사례로 삼아 세 가지 구현 방식(순수 PyTorch, torch.rms_norm 내장형 병합, torch.compile 자동 병합) 간의 장치별 처리 시간 차이를 비교합니다.

i14, Laplace 3B 선형 주의 메커니즘 모델 발표: AWS Trainium2와 네이티브 PyTorch를 기반으로 한 고정 상태 메모리 추론 구현

i14는 30.28억 개의 파라미터를 갖는 Laplace 3B 모델을 출시했으며, Softmax 주의 메커니즘을 대체해 게이트 제어 선형 주의(GLA)를 채택했습니다. 이 모델은 추론 시 각 시퀀스의 재귀 상태 크기가 항상 29.5 MB로, 컨텍스트 길이와 무관합니다. 해당 모델은 AWS trn2.48xlarge 인스턴스 한 대(Trainium2 칩 16개 탑재)에서 훈련 및 서비스 검증을 완료했으며, 훈련 처리량은 초당 12만 토큰에 달하고, 서비스 처리량은 초당 11,544 출력 토큰(동시 실행 시퀀스 수 1,280)입니다. 모든 성능 데이터는 i14와 AWS GenAIIC 팀의 내부 실측 결과입니다.

SF Compute, 프로그래밍 가능한 데이터센터 구축: 물리적 인도를 기반으로 한 GPU 연산력 거래 시장

SF Compute는 에반 콘래드가 설립한 기업으로, 중립적이고 프로그래밍 가능하며 물리적 인도를 지원하는 GPU 연산력 거래 인프라 구축을 목표로 합니다. 이 회사의 모델은 FLOPS 상품의 추상화를 지양하고 하드웨어의 이기종성, 실제 인도 및 실시간 제약(예: 중단 허용성, InfiniBand 토폴로지, 펌웨어 버전 등)을 강조합니다. 현재까지 수백억 달러 규모의 거래량을 달성했으며, 동적 InfiniBand 서브넷 분할과 같은 기반 기능도 선보였습니다.

SF Compute, 프로그래밍 가능한 데이터센터 구축: 물리적 인도를 통해 GPU 연산력 거래의 시장화 촉진

SF Compute는 에반 콘래드가 설립한 기업으로, GPU 연산력에 대한 프로그래밍 가능하고 물리적으로 교환 가능한 거래를 실현하는 데 중점을 두고 있습니다. 이 회사는 자체 데이터센터를 보유하지 않고, 풀스택 기술을 통해 제3자 시설과 협력해 ‘주권형 연산력 클라우드’를 공동 구축하며, 시장 중립성과 인프라의 통제 가능성에 큰 비중을 두고 있습니다. 현재까지 수억 달러 규모의 거래액을 달성했으며, InfiniBand 동적 분할 등 핵심 기능도 실제로 구현했습니다.

AWS가 기술 프리뷰 솔루션을 발표했습니다: Amazon Quick과 Bedrock AgentCore를 활용한 거버넌스 가능한 대화형 공급망 지능 시스템 구축

AWS는 모델 컨텍스트 프로토콜(MCP) 기반의 모듈형 에이전트 아키텍처를 출시했으며, AgentCore를 통해 엔터프라이즈급 도구 인터페이스를 통합적으로 관리합니다. 또한 Amazon Quick은 비즈니스 사용자를 위한 자연어 기반 대화형 인터페이스를 제공하여 ERP, 구매, 모니터링 등 다양한 시스템 간에 실시간으로 승인 중심의 공급망 의사결정 지원을 구현합니다. 이 솔루션은 기술 미리보기 단계로, 생산 환경 적용이나 고객 도입을 보장하지 않습니다.

Octave는 Amazon Bedrock를 기반으로 안전한 멀티테넌트 AI 인프라를 구축하여 20억 건의 규제 문서에 대한 의미 검색을 지원합니다.

Octave Reliance는 Amazon Bedrock을 기반으로 엄격한 테넌트 격리형 AI 인프라를 구축했으며, Cohere Embed v4와 AgentCore 마이크로 가상머신 런타임을 통합해 의료기기, 제약 및 식품 제조 산업 전반에 걸친 컴플레인 트라이애지 어시스턴트를 구현했습니다. 이를 통해 20억 건이 넘는 규제 대상 문서(불만 사항, CAPA, 감사 발견 등)에 대한 의미 기반 검색을 지원하며, 전체 과정에서 테넌트 간 데이터 유출을 완전히 차단합니다.

AWS 에이전트 레지스트리 정식 출시: 런타임 시멘틱 디스커버리와 동적 오케스트레이션을 지원하는 MCP 서버 및 A2A 에이전트

AWS는 2026년 10월 26일에 에이전트 레지스트리 서비스의 전면적인 이용 가능을 발표했으며, 이 관리형 서비스는 하이브리드 의미론과 키워드 검색을 통해 런타임에 승인된 모델 컨텍스트 프로토콜(MCP) 서버와 에이전트 간(A2A) 에이전트를 동적으로 발견하고 인스턴스화하며 실행함으로써, 하드코딩된 도구 통합을 대체하고 기업 수준의 AI 에이전트 규모화 편성에서 발생하는 병목 문제를 해결합니다.