인공 분석 v5와 벤치마커의 딜레마
벤치마킹 산업과 그 안에 부족한 점에 대한 일종의 검토.
제목, 요약, 본문을 검색해 흩어진 정보를 연결하세요.
벤치마킹 산업과 그 안에 부족한 점에 대한 일종의 검토.
토큰을 더 빠르게 생성하려면 먼저 추론 성능을 제한하는 요인을 파악하는 것부터 시작합니다. NVIDIA에서 Inclusion AI의 Ling-3.0-flash를 대상으로 한 배치 크기 1 평가에서는...
Mirendil은 1,000만 토큰의 컨텍스트 창을 갖춘 처음으로 개발한 모델인 Fern 0.1을 출시했습니다. 이 모델은 에이전트형 AI 연구개발 작업을 목표로 하며, 1,000만 토큰 기준 RULER 단일 바늘 테스트에서 100% 점수를 기록했지만, 에이전트형 코딩에서는 최첨단 모델들에 비해 뒤처집니다. 해당 게시물 “Mirendil, 1,000만 토큰 컨텍스트를 갖춘 첫 번째 모델 Fern 0.1 출시”는 MarkTechPost에 처음 게재되었습니다.
바이두는 MIT 라이선스를 적용한 3B 규모의 OCR 모델인 ‘Unlimited OCR 2’를 출시했으며, 이 모델은 한 번의 요청으로 수백 페이지에 달하는 문서를 처리할 수 있습니다. 해당 모델의 SR-SWA 주의 메커니즘은 단계별 디코딩 비용을 거의 일정하게 유지하며, MarathonDocBench에서 77.1점의 성능을 기록했습니다. 본 글은 ‘바이두, 수백 페이지 문서 파싱을 위한 Unlimited OCR 2 오픈소스화’라는 제목으로 MarkTechPost에 처음 게재되었습니다.
OpenAI는 GPT-6.1 Terra를 출시했으며, 이 모델은 매 백만 토큰당 1달러/5달러의 가격으로 제공되는 고속 컴퓨터 사용 및 비전 모델입니다. 이 모델은 GPT-6 Astra의 중간 수준 노력 기반 에이전트들의 최종 시험 점수를 달성하며, 작업당 비용은 0.29달러로, 기존의 4.82달러에 비해 크게 낮아졌습니다. 해당 게시물인 “OpenAI, GPT-6.1 Terra 출시… 에이전트 작업 시 GPT-6.1 Sol의 API 가격 절반”은 MarkTechPost에 처음 게재되었습니다.
AWS는 2026년 10월 26일 블로그를 통해, AWS CDK를 활용해 구축한 엔터프라이즈급 에이전트 기반 검색(Agentic Retrieval)의 참조 구현을 소개했습니다. 이 솔루션은 Amazon Bedrock의 관리형 지식 베이스(Managed Knowledge Base)에 특화되어 있으며, 지식 베이스 간의 시맨틱 라우팅, 반복적 검색, 인용 정보를 포함한 출처 추적 답변 및 7계층 관찰성을 지원합니다.
추천 이유:이 자료는 AWS 공식 기술 블로그(2026년 10월 26일 게시)에 실린 것으로, 2024년 8월에 출시된 관리형 KB 및 AgenticRetrieveStream API와 같은 이미 제공되는 기능, 네 스택 CDK 애플리케이션과 같은 검증 가능한 배포 구조, 지역별 이용 가능성 및 관리형 KB에만 한정된 사용 제한 등 명확한 제약 사항, 그리고 오픈소스 구현 세부사항에 초점을 맞추고 있습니다. 성능에 관한 단언이나 제3자에 의한 신뢰성 보증은 포함되어 있지 않으며, 사실성과 시의성을 충족합니다.
Nace AI는 Drex for Search를 출시하며, 자사의 Drex 의사결정 모델을 AI 에이전트의 문서 검색에 적용했습니다. Nace는 BrowseComp-Plus에서 12.6회의 검색 호출로 92.05%의 성과를 기록했으며, OfficeQA Pro에서는 에이전트의 전환 횟수가 더 적었습니다. 이 글은 MarkTechPost에 처음 게재되었습니다.
NVIDIA는 Cosmos 플랫폼을 확장하여 Cosmos Data Factory 블루프린트, Cosmos Framework 학습 최적화 도구 및 Cosmos 3 NIM 마이크로서비스를 출시했으며, 이를 통해 다중 모달 데이터 생성, GR00T·QWEN 등 오픈소스 세계 모델의 적응, 그리고 낮은 지연 시간 추론을 지원합니다. 포르쉐, ANYbotics, Ultralytics, ADNOC 등은 이미 실제 적용을 시작했습니다.
FairStress는 대규모 언어 모델(LLM)이 인구통계학적 정체성 교체 상황에서 내리는 의사결정의 안정성, 해석의 일관성, 그리고 내부 표현의 대칭성을 평가하는 새로운 벤치마크로, 모델에 ‘반고정관념식 과잉 보정’과 같은 체계적인 행동 편향이 존재함을 밝히며, 주류 평가 방법(예: BBQ)이 패러다임 차이로 인해 편향의 방향을 잘못 판단할 수 있음을 지적합니다.