NVIDIA DGX Spark에서 MoE 추론을 향상시키는 3가지 방법
토큰을 더 빠르게 생성하려면 먼저 추론 성능을 제한하는 요인을 파악하는 것부터 시작합니다. NVIDIA에서 Inclusion AI의 Ling-3.0-flash를 대상으로 한 배치 크기 1 평가에서는...
제목, 요약, 본문을 검색해 흩어진 정보를 연결하세요.
토큰을 더 빠르게 생성하려면 먼저 추론 성능을 제한하는 요인을 파악하는 것부터 시작합니다. NVIDIA에서 Inclusion AI의 Ling-3.0-flash를 대상으로 한 배치 크기 1 평가에서는...
K3.1 Pro 출시 이후, 여러 사용자가 할당량이 너무 빠르게 소진된다는 피드백을 제출하자 월지암면은 긴급 공지를 통해 “문제는 우리에게 있었으며, 우리는 더 일찍 이를 수정했어야 했다”고 밝혔다. 보상 할당량을 제공하는 동시에 월지암면은 “불필요한 하위 에이전트 호출과 출력 길이를 줄이겠다”고도 밝혔다. 모델이 정식으로 출시되기 이틀 전, 앤트로픽은 ‘에이전트 구축: 언제 하위 에이전트를 메인 에이전트 루프로 통합할 것인가’(Building agents: When to fold subagents into your main agent loop)라는 제목의 글을 발표했는데, 이 글에서 다루는 내용은 바로 하위 에이전트와 관련된 사항이었다. 앤트로픽의 결론에 따르면, 여러 기업이 배포한 Claude를 비교한 결과, 기술을 갖춘 하나의 에이전트가 오히려 “일군의...”보다 품질 면에서 우월하다는 것을 확인했다.
작성자: Evin 편집자: 류즈청 감수: 쉬쉬 제공: 인터넷 강호 요즘 메타 AI 에이전트인 뮤즈가 큰 화제를 모으고 있다. 어느 정도로 인기가 높은 걸까? 미국에서 다운로드 수가 천만을 돌파했으며,....
Mirendil은 1,000만 토큰의 컨텍스트 창을 갖춘 처음으로 개발한 모델인 Fern 0.1을 출시했습니다. 이 모델은 에이전트형 AI 연구개발 작업을 목표로 하며, 1,000만 토큰 기준 RULER 단일 바늘 테스트에서 100% 점수를 기록했지만, 에이전트형 코딩에서는 최첨단 모델들에 비해 뒤처집니다. 해당 게시물 “Mirendil, 1,000만 토큰 컨텍스트를 갖춘 첫 번째 모델 Fern 0.1 출시”는 MarkTechPost에 처음 게재되었습니다.
1. 워커들에게 더 적합한 GPT-6.1 Terra가 출시되며, API 가격은 절반으로 인하되고 컴퓨터 작업 속도는 더욱 빨라집니다. 10월 26일, OpenAI는 GPT-6.1 Terra를 발표했으며, 주요 기능으로 시각적 이해력, 컴퓨터 작업 능력, 사실 정확성 및 프로그래밍 능력을 향상시켰습니다....
구 버전 순위의 점수는 만점에 근접했지만, 신규 버전의 실전 성적은 집단적으로 낙제점을 기록했다. 대형 모델 평가 자체가 하나의 비즈니스로 전환되면서, 기업들의 선택 기준은 이제 순위를 보는 데서 비용 계산으로 옮겨가고 있다.
기존의 ‘경마+단기 성과 평가’ 방식은 더 이상 지속하기 어려워졌다.
옌더리, 텐센트의 수석 전문가 LLM은 확률 모델이며, 인과관계를 이해하지 못합니다. 대규모 언어 모델(LLM)은 언어를 실제로 이해하는 것이 아니라 다음 토큰을 예측하는 데 그칩니다. 이는 지루한 ‘글자 연속하기’ 기계와 같아서 한 단계씩 나아가며 그때그때 계산할 뿐, 되돌아가지 않습니다. 본질적으로 LLM은 확률 모델로서, 통계적 동시 발생 구조 속에서 ‘무엇이 자주 무엇과 함께 나타나는지’를 학습하고, ‘대체로 그렇다’는 결과를 출력할 뿐 ‘왜 그런지’는 이해하지 못합니다…
AI 순위에서 1위는 바뀌지만, 사용자가 매일 이용하는 제품은 반드시 바뀌지 않습니다. 대규모 모델 간의 다음 경쟁은 단순히 누가 더 강력한 모델을 보유하느냐를 넘어, 한 번의 사용을 습관으로 만드는 데에 있습니다.
MiniMax는 2026년 10월 19일 저가형 대규모 언어 모델 M3.1Flash를 발표했으며, 종합 평가 점수는 42점이었다. 이 모델의 비용은 이전 세대에 비해 70% 감소했지만, 곧바로 ‘문제 답안 복사’ 의혹에 직면했다. AA에서 공개된 기존 문제에서는 거의 만점을 받았고, 문항을 재구성한 뒤에도 여전히 원래 답안을 제시했다는 것이다. 마오보스와 Binkg 등 평가자들은 이 모델의 신·구 문제 처리 능력 간 단절, 토큰 소모량 이상, 지식 테스트 시 환각 발생률이 무려 92.8%에 달한다는 점을 지적했다. 10월 23일 MiniMax는 모델 가중치를 오픈소스로 공개해 독립적인 검증을 가능하게 했으나, 문제 인식 메커니즘과 한·중·영 문장에 따른 응답 차이의 원인은 아직 명확히 밝혀지지 않았다.
추천 이유:해당 보도는 다수의 실측 결과(비잉크 제목 변경 실험, 필자 재현, AA와 플로틀리-밀라의 이중 평가 비교), 검증 가능한 데이터(토큰 수량, 가격, 정확도/환각률) 및 모델 행동의 모순점(영어는 오류·중국어는 정답, 구형 문제는 안정적·신형 문제는 붕괴)을 바탕으로 하며, 현재 대규모 언어모델 평가의 신뢰성 위기의 핵심 증상을 체계적으로 제시합니다: 높은 점수가 반드시 강력한 일반화 능력을 의미하는 것은 아니며, 저렴한 가격 우위와 실제 능력의 진정성 사이에 긴장이 존재합니다. 정보원은 티미디어가 공식적으로 배포한 심층 조사로, 원본 테스트 과정, 스크린샷 증거 및 타임스탬프를 포함하여 시의성과 세부 사항의 밀도 모두 우수합니다.
저자|신시아 편집|정현 2026년의 AI 3D 분야는 미묘한 분수령에 서 있다. 1차 시장의 열기는 여전히 고조되고 있으며, 새로운 모델과 스타트업이 끊임없이 등장하고 있다. 단일 이미지로부터 3D를 생성하는 방식의 프론트엔드 렌더링 품질은 거의 현실과 구분하기 어려울 정도로 완성도를 갖추었다. 그러나 화려한 데모의 겉면을 벗겨 보면, 대부분의 생성 결과는 여전히 ‘회전대 전시’ 수준에 머물러 있다. 정교하게 제작된 캐릭터나 기계 모델이 조명 아래에서 천천히 회전하며, 비늘, 옷 주름, 금속의 음각까지 생생하게 표현된다. 하지만 이러한 세부 요소들이 게임 엔진의 애니메이션 설정, 산업 시뮬레이션, 그리고 3D 프린팅의 실제 생산 공정으로 넘어가면 곧바로 문제점이 드러난다. 구조적 파손, 뒷면 붕괴, 세부 부위의 접착, 메쉬의 편집 불가능 등 다양한 결함이 동시다발적으로 발생하며, 막대한 인력 보정 비용이 AI가 가져온 효율성 혜택을 모두 소진해 버린다. 이제는 프론트뷰의 사실성만으로 3D 품질을 판단할 수 없다는 것이 새로운 업계의 공감대가 되었다. AI 3D 경쟁은 ‘생성 가능 여부’를 두고 치열했던 전반기에서, 이제는 ‘실제 적용 가능성’을 놓고 치열한 후반기에 접어들었다. 바로 이 시점에서 선도 플레이어인 Hi3D가 두 가지 중요한 카드를 연달아 내놓았다. 생산 검증을 거친 Hi3D V1.0 기반을 공식 오픈소스로 공개하는 동시에, 크리에이터 중심의 Hi3D Agent를 출시했다. 이는 산업의 하부 구조와 연결되면서도, 실제 창작 워크플로우의 깊숙한 영역까지 심층적으로 통합하는 접근이다. 그에 앞서 설립된 지 3년도 채 되지 않은 이 회사는 이미 탄탄한 성과를 보여 왔다. 반년 만에 두 차례 연속으로 투자를 유치해 총액이 약 5,000만 달러에 달했으며, 샤오미의 레드시트 차이나, IDG 캐피탈, 메이퇀 롱주 등 굵직한 투자기관들이 대거 참여했다. 자사의 Hi3D 플랫폼은 120여 개 국가와 지역, 200만 명 이상의 크리에이터를 포괄하며, 투즈루 테크놀로지, xTool 등 주요 장비업체들과도 깊이 통합되어 있다. 희박 기하학 기술의 학문적 돌파부터 생산급 모델의 오픈소스 공개, 그리고 Agent 창작 시스템의 전주기적 통합에 이르기까지, Hi3D는 3D 생성의 후반기를 향한 진입권을 확보했다. 01 3D 생성, 과대평가된 데모와 과소평가된 생산 갭 단일 이미지로부터 3D를 생성하는 기술의 근본 논리는 태생적으로 시점 편향을 내포한다. ULIP, Uni3D 등의 지표가 거듭해서 경신되면서, 전면 위주로 전체보다는 일부를, 외관 위주로 내부 구조보다는 표면만을 중시하는 관행이 지난 몇 년간 이 분야의 공통된 모습이 되었다. 그러나 3D 자산의 본질은 회전 가능하고, 편집 및 가공이 가능한 입체 객체라는 점이다. 한 장의 캐릭터 이미지 속에는…
바이두는 MIT 라이선스를 적용한 3B 규모의 OCR 모델인 ‘Unlimited OCR 2’를 출시했으며, 이 모델은 한 번의 요청으로 수백 페이지에 달하는 문서를 처리할 수 있습니다. 해당 모델의 SR-SWA 주의 메커니즘은 단계별 디코딩 비용을 거의 일정하게 유지하며, MarathonDocBench에서 77.1점의 성능을 기록했습니다. 본 글은 ‘바이두, 수백 페이지 문서 파싱을 위한 Unlimited OCR 2 오픈소스화’라는 제목으로 MarkTechPost에 처음 게재되었습니다.
OpenAI가 또 한 번 대규모 모델의 가성비를 끌어올렸습니다. #아이판얼 공식 위챗 공식 계정인 아이판얼(위챗 계정: ifanr)을 팔로우해 주시면, 더 많은 흥미로운 콘텐츠를 가장 먼저 만나보실 수 있습니다.
arXiv:2610.33015v1 발표 유형: 신규 초록: 장기 기억은 대규모 언어 모델(LLM) 에이전트가 개인화되고 시간적으로 일관된 상호작용을 유지할 수 있도록 하지만, 메모리의 입실, 추출 및 정리를 위해 LLM 추론을 반복적으로 수행하면 상당한 비용과 지연이 발생합니다. 우리는 선명도 기반 입실과 술어 중심 정보 추출을 결합한 경량 메모리 프레임워크인 SLICE-Mem을 제안합니다. 간결한 분류기가 보존할 만한 사용자 발화를 식별하고, 의미적 의존성 기반 추출기가 입실된 발화를 간결한 메모리 항목으로 변환합니다. 이 온라인 파이프라인은 생성형 LLM 호출을 필요로 하지 않으며, 서로 다른 항목 간의 정합성 조정은 오프라인 통합 단계로 연기됩니다. 우리는 Memora와 LongMemEval-S의 주간 서브셋에서 8B a를 사용하여 SLICE-Mem을 평가합니다.
arXiv:2610.33017v1 발표 유형: 신규 초록: 영어 중심의 텍스트 코퍼스를 기반으로 학습된 다국어 토크나이저는 인도계 언어를 과도하게 세분화하는 경우가 많아, 그 결과 토큰 시퀀스가 길어지고 각 문자 체계 간의 토크나이징 격차가 확대됩니다. 우리는 유니코드 정규화 전처리와 명시적인 인도계 결합 처리, 스크립트 인식 라우팅, 그리고 소규모 트랜스포머 언어 모델과 함께 공동 학습된 학습된 바이트 단위 경계 예측을 결합한, 인도계에 특화된 적응형 토크나이징 확장인 AdaptTok-Indic을 제안합니다. 벵골어와 힌디어를 대상으로 평가했으며, 구자라트어, 타밀어, 텔루구어에 대해서도 추가적으로 평가한 결과, AdaptTok-Indic은 인도계 지향 토크나이저 기준점인 SentencePiece BPE 및 독립적으로 구현된 MAGNET 방식 기준점보다 낮은 토큰 비용을 달성했습니다. 다섯 가지 기록된
arXiv:2610.32429v1 발표 유형: 신규 초록: 대규모 언어 모델(LLM) 에이전트는 점점 더 비동기적으로 작업을 수행합니다. 주 에이전트는 하위 에이전트들이 실행되는 동안에도 계속 작업을 진행하며, 그 결과가 도착하기 전에 작업 상태가 변경될 수 있습니다. 이때 주 에이전트는 어떤 작업을 업데이트하거나 보존하고, 어떤 검사를 다시 수행할지 결정해야 하며, 동시에 금지된 변경 사항을 피해야 합니다. 최종 작업 성공 여부만으로는 이러한 결과가 올바르게 처리되었는지 여부를 확인하기 어렵고, 자연스러운 비동기적 도착 현상은 재현하기도 어렵습니다. 우리는 LLM 에이전트의 비동기적 작업 실행을 평가하는 벤치마크인 Async-RBench를 제안하며, 8가지 시나리오를 포괄하는 200개의 실행 가능한 작업을 제공합니다. 각 시나리오 컨트롤러는 미리 정의된 작업 상태 조건을 활용해 결과 전달을 관리하고, 이벤트 응답 계약(ERC)은 각 응답이 무엇을 의미하는지를 명시합니다.
arXiv:2610.33012v1 발표 유형: 신규 초록: 도구 사용 기능을 갖춘 대규모 언어 모델(LLM) 에이전트는 동일한 초기 상태에서 독립적인 실행 간에 일관되지 않은 행동을 보이며, 서로 다른 도구를 호출하거나 상충되는 출력을 생성하거나 서로 다른 전략을 추구합니다. 이러한 변동성은 시간이 지나면서 누적되어 배포의 신뢰성을 저해합니다. 기존 평가 지표들은 주로 완료 기반 점수를 통해 작업 정확도를 측정할 뿐, 여러 실행에 걸친 에이전트 행동의 일관성을 포착하지 못합니다. 또한, 에이전트의 행동은 확률 분포를 이용한 토큰 수준 또는 의미 클러스터링을 활용한 단일 응답 수준에서 각각 분석되지만, 어느 방법도 궤적의 향후 단계들로 일관성 부족이 어떻게 전파되는지를 파악하지 못합니다. 우리는 재귀적 의미 발산(RSD)이라는 비정식
arXiv:2610.33007v1 발표 유형: 신규 초록: 통합 지상망 및 비지상망(TN/NTN) 6G 네트워크에서의 자연어 기반 서비스 의도는 불완전하거나 모호하거나 일관성이 없을 수 있어, 신뢰할 수 있는 네트워크 기반 오케스트레이션을 위해 제한 없는 LLM 생성이 어려운 상황을 야기합니다. 본 논문에서는 문법 제약을 적용한 의미 분석과 지식 그래프(KG) 기반 명확화 루프를 결합한 지식 기반 LLM 프레임워크를 제안하며, 대표적인 네 가지 서비스 클래스에 걸쳐 검증된 오케스트레이션 준비 완료 상태의 서비스 프로파일을 생성합니다. 200개의 샘플로 구성된 의도 데이터셋에서, 이 프레임워크는 요청당 평균 0.66회의 명확화 단계를 거쳐 분류 정확도 89%와 정책 타당성 95%를 달성합니다. 순수 LLM 기반 베이스라인과 비교했을 때, 제안된 프레임워크는 정책 타당성을 향상시키고 co
arXiv:2610.33039v1 발표 유형: 신규 초록: 우리는 로컬 에이전트 워크로드를 위한 메모리 사용량 당 속도와 지능을 최적화하는 하이브리드 Mamba-Transformer 비전-언어 모델인 Nemotron 3.5 Bolt 74B-A9B 24GB를 소개합니다. Nemotron 3.5 Super VL 120B-A12B 모델 계열에서 파생된 Nemotron 3.5 Bolt 74B-A9B 24GB는 스타 엘라스틱 압축과 2비트 퀀타이제이션 기반의 학습 후 양자화 기반 증류 기술을 결합하여 메모리 제약 환경에서도 효율적으로 배포할 수 있도록 설계되었습니다. 이 모델은 추론, 에이전트 기반 도구 활용, 그리고 웹 및 터미널 상호작용에 최적화되어 있습니다. 또한, 목표한 추론 속도를 달성하기 위해 모델과 함께 공개되는 LiLiCorr 사양형 드래프터를 별도로 교육했습니다. 그 결과 생성된 모델은 일반적인 에이전트 작업에 대한 여러 벤치마크에서 유사한 메모리 사용량과 속도를 가진 주요 경쟁 모델들보다 높은 정확도를 보여줍니다.
arXiv:2610.33014v1 발표 유형: 신규 초록: 협상 어시스턴트는 상대방의 반응을 정확히 예측하지 않더라도 좋은 거래를 성사시킬 수 있다. 우리는 사회적 세계 모델에 대한 평가들이 이러한 예측을 직접적으로 검증하는지 여부를 묻는다. 1999년부터 2026년까지 발표된 113편의 연구를 검토한 결과, 9편의 주요 평가는 시스템이나 실험자가 선택한 행동에 대한 실제 사람의 반응을 측정한다. 이 중 단 2편만이 명시적인 반응 예측과 실제 반응을 비교하고 있다. 해당 연구들의 예측 모델은 행동이 선택될 때 이용 가능한 정보를 사용하며, 평가 대상 반응은 모델 학습 과정에서 제외되었다; 또한 두 연구 모두 개입 조건을 무작위화하였다. 언어 모델 관련 25편의 논문에 대한 별도의 전문 텍스트 검토에서는 이러한 조건을 충족하는 실험이 발견되지 않았다. 나머지 평가들은 현재 상태 추론, 과제 성공 또는 예측 f