Show HN: LLMBrake – OpenAI/Anthropic API 호출에 대한 고객별 달러 한도
기사 URL: https://github.com/llmbrake/llmbrake 댓글 URL: https://news.ycombinator.com/item?id=50386174 포인트: 2 # 댓글: 0
AI NEWS JOURNAL
AI 뉴스 검색
제목, 요약, 본문을 검색해 흩어진 정보를 연결하세요.
FlatCake: LLM 서비스를 위한 평면형 KV캐시 저장 아키텍처
arXiv:2610.38355v1 발표 유형: 신규 초록: KV 캐시 재사용은 LLM 서비스를 가속화하지만, 기존 시스템들은 호스트 DRAM과 NVMe SSD를 계층적 하위 구조로 관리하며, DRAM을 중간 캐시로 활용합니다. 그러나 실제 생산 환경의 LLM 워크로드는 이러한 계층 구조의 두 가지 전제 조건을 모두 무너뜨립니다. 첫째, 이중 모드 재사용 방식은 DRAM의 시간적 필터링 기능을 무력화합니다. 왜냐하면 워크로드는 재사용 거리가 긴 일회성 블록이나 DRAM 용량을 초과하는 수기가바이트 규모의 에이전트 세션으로 구성되어 있어 SSD가 핵심 읽기 경로에 위치하게 되기 때문입니다. 둘째, DRAM의 스테이징과 제거 순서에 따른 배치 방식은 SSD 복원 과정을 병목으로 만듭니다. 인-플라이트 프리픽스를 위해 호스트 스테이징 버퍼를 유지하면 부하 상황에서 컨텐션을 유발해 프리페치 작업이 중단되며, 증분식 제거는 세션의 블록들을 SSD 전체에 분산시켜 대규모 연속 읽기를 방해합니다. 우리는 p
와비, 소비자 지향형 인공지능 비서를 위해 5,500만 달러 유치
소비자를 위한 인공지능 비서를 개발하는 와비 주식회사는 오늘 시드 투자 라운드에서 5,500만 달러를 조달했다고 발표했습니다. IVP가 이 시드 라운드를 주도했으며, 아마존 알렉사 펀드, 안드레센 호로위츠, 포어러너 등이 참여했습니다. 또한 세일즈포스 주식회사의 CEO 마크 베니오프와 쇼피파이 주식회사의 CEO 토비 뤼트케를 포함한 엔젤 투자자 그룹도 함께했습니다. 이 기사의 원문은 “와비, 소비자 지향형 인공지능 비서를 위해 5,500만 달러 유치”라는 제목으로 실리콘 앵글에 처음 게재되었습니다.
엔드투엔드 대형 모델 전용 설계: 신심항도 X7 Ultra 지능형 주행 칩을 발표하며, 중국 최초로 Armv9 차량 규격 CPU를 양산 출시
10월 29일, XHEART 신심항도는 차세대 지능형 주행 대형 모델 칩인 X7 Ultra를 공식 발표했다. 지능형 주행이 여러 개의 소형 모델에서 ‘엔드투엔드 대형 모델’로 진화하는 추세에 맞춰, 이 제품은 ‘대형 모델이 칩을 정의한다’는 철학을 바탕으로 실제 양산 모델의 근본적인 요구사항에서 출발해 계산 아키텍처, 저장 솔루션 및 데이터 흐름 방식을 역으로 재설계했으며, 향후 모델 발전을 위한 확장성도 미리 마련했다. 본 기사에는 핵심 연산 성능과 아키텍처 설계에 관한 내용도 포함되어 있다.
리퀴드 AI, 효율성과 전용 지능을 강조하는 LFM3 다중모달 모델 패밀리 공식 발표
최근 리퀴드 AI는 차세대 기반 모델 패밀리인 LFM3을 정식으로 출시했습니다. 첫 번째 버전에는 약 2B 파라미터 규모의 모델 여섯 가지가 포함되며, 텍스트, 비전, 오디오, 옴니모달 및 의사결정 등 다양한 영역을 포괄합니다. 이들 모두는 LFM3-1.7B-Base를 기반으로 하며, 사전훈련 단계에서 최대 22T 토큰의 처리량을 달성했습니다. 해당 시리즈는 새로운 트라이하이브리드 레이어 아키텍처를 채택해 게이트 기반의 짧은 컨볼루션과 슬라이딩 창 메커니즘 등을 융합함으로써, 더 적은 파라미터와 높은 효율성을 특징으로 합니다.
INC-MoE: 전문가 병렬 혼합-전문가 추론을 위한 네트워크 내 집단 수렴과 전문가 계산의 중복 처리
arXiv:2610.36339v1 발표 유형: 신규 초록: 전문가 병렬 혼합-전문가(MoE) 서비스에서 디스패치는 토큰을 해당 토큰이 선택한 전문가를 호스팅하는 가속기로 이동시키고, 결합은 각 토큰의 소유자에게 전문가 출력을 다시 모아줍니다. 두 작업 모두 핵심 경로에 위치해 다노드 배포 환경에서 MoE 레이어의 지연 시간을 주도할 수 있습니다. 우리는 INC-MoE를 제안합니다. 이는 디스패치와 결합 작업을 네트워크 스위치로 오프로드하고, 두 집단 수렴을 서로 및 전문가 계산과 겹치도록 설계된 전문가 병렬 MoE 레이어입니다. 디스패치는 스위치 측 멀티캐스트를 통해 네트워크 내 AllGather를 사용하며, 결합은 스위치 측 감축을 통해 네트워크 내 ReduceScatter를 사용합니다. 두 집단 수렴 모두 최종 호스트와 스위치 간의 메시지 세미틱을 활용합니다. 네트워크 내 집단 수렴은 서로 반대 방향으로 로드되기 때문에
저랭크 다중선형 분해를 통한 LLM 환각 탐지
arXiv:2610.36191v1 발표 유형: 신규 초록: 대규모 언어 모델(LLM)은 흔히 유창하지만 사실과는 맞지 않는 응답을 생성하여 그 신뢰성에 대한 우려를 불러일으킵니다. 최근의 환각 탐지기들은 점점 더 내부 표현을 활용하고 있지만, 고차원의 숨은 상태에서 유의미한 신호를 추출하는 것은 여전히 어려운 과제입니다. 기존 접근법들은 종종 선택된 활성화 값이나 풀링 기반 압축에 의존하는데, 이로 인해 트랜스포머 계층, 특징 모드 및 토큰 전반에 걸쳐 분산된 판별적 정보를 놓칠 수 있습니다. 우리는 LOTUS(Low-rank Order-statistic TUcker-based Subspace learning)를 제안합니다. 이는 환각 탐지를 위한 다중선형 저랭크 분해 프레임워크로서, LLM의 숨은 상태로부터 컴팩트한 표현을 추출하면서도 레이블에 대한 의존성을 줄여줍니다.
듣는 기계 만들기
파리스 스마라그디스 교수는 음성 인식, 음악 이해, 환경 모니터링 등 다양한 분야에 활용될 초인간 수준의 청력을 갖춘 컴퓨터를 개발하고 있습니다.
KORA: AI 워크로드를 위한 결정론 우선 실행 제어
arXiv:2610.35869v1 발표 유형: 신규 초록: AI 애플리케이션은 종종 추론이 필요한지 여부를 판단하기 전에 모델을 호출합니다. 이러한 기본 설정은 모호한 생성 작업에는 유용하지만, 구조화되고 결정론적이며 정책 기반, 조회 지향적이거나 직접 검증 가능한 작업에는 적합하지 않습니다. KORA는 결정론 우선 실행 제어를 도입합니다: 요청을 작업 경로로 표현하고, 먼저 결정론적 또는 구조화된 경로를 시도하며, 경로 결과를 검증하고, 텔레메트리를 기록한 뒤, 결정론적 처리로 해결되지 않을 경우에만 모델 후보 경로로 에스컬레이션하는 사전 추론 제어 계층입니다. 본 논문에서는 KORA를 결정론 우선 실행 제어 아키텍처로 소개하고, 재현 가능한 벤치마크 및 검증 워크로드에서 얻은 제한된 증거를 보고합니다. 재
프론티어 대규모 언어 모델에서의 애쉬 동조에 대한 정량적 접근
arXiv:2610.36668v1 발표 유형: 신규 초록: 애쉬 동조 실험은 최근 대규모 언어 모델(LLM)에서의 동조를 측정하는 방법으로 상당한 주목을 받고 있습니다. 기존 연구들이 LLM에서의 동조를 입증하는 데 집중해 왔다면, 우리 연구는 이 접근법에 추가적인 정량적 층을 더합니다. 우리는 프론티어 LLM을 여러 질문 세트에 대해 샘플링하는 대신, 단일 질문을 반복적으로 샘플링하여 LLM의 확률적 특성을 활용해 답변 분포를 생성합니다. 이를 통해 모델에 가공된 합의가 제시되기 전후의 답변 분포를 비교할 수 있습니다. 우리의 실험은 프론티어 LLM이 실제로 동조를 보임을 확인하며, 기존 문헌을 뒷받침하고, 분포 간 비교를 통해 추가적인 정보를 제공합니다.
dbt Labs가 왜 AI 에이전트가 비로소 시맨틱 레이어를 정착시킬 것이라고 생각하는지
팀이 신뢰 문제를 해결할 수 있다면, AI 에이전트는 왜 의미 계층을 더욱 견고하게 만들 수 있을까요?
우리가 디자인 에이전트를 어떻게 구축했는지
LangChain이 Slack에서 브랜드에 맞는 동영상, 그래픽 및 프레젠테이션을 제작하는 오픈소스 디자인 에이전트인 Content Studio와 이를 구동하는 하네스를 어떻게 구축했는지.
NVIDIA DGX Spark에서 MoE 추론을 향상시키는 3가지 방법
토큰을 더 빠르게 생성하려면 먼저 추론 성능을 제한하는 요인을 파악하는 것부터 시작합니다. NVIDIA에서 Inclusion AI의 Ling-3.0-flash를 대상으로 한 배치 크기 1 평가에서는...
Meta AI 이사 로힛 파텔이 마이크로소프트 오피스와 구글 워크스페이스를 맡기 위해 회사를 떠납니다.
로힛 파텔은 AI 평가와 강화학습 분야에서 8년간 근무한 뒤 메타를 떠난다고 테크크런치가 단독으로 확인했다. 그의 스타트업 엔닥(Ndoc)은 마이크로소프트 오피스 스위트에 도전하는 것을 목표로 한다.
Edge Sound, 물리적 AI가 오디오를 이해할 수 있도록 지원하기 위해 200만 달러를 조달했습니다.
Edge Sound Research Inc.는 오늘, 유용한 음향을 분리하고 이를 다른 센서 데이터와 결합해 물리적 AI 시스템이 실시간으로 상황을 이해할 수 있도록 지원하는 오디오 인프라를 구축하기 위해 200만 달러의 신규 자금을 조달했다고 발표했습니다. 이번 투자 라운드는 Stormbreaker Ventures가 주도했으며, 이로써 회사의 총 누적 투자액은 900만 달러에 달합니다. […] 해당 기사의 원문은 SiliconANGLE에 처음 게재되었습니다.
제너럴 컴퓨트, 시리즈 A 라운드에서 1억 달러 조달… 네오클라우드 재앙론에 맞서다
제너럴 컴퓨트는 엔비디아 생태계 외부의 추론 칩에 베팅하고 있습니다.
크런치베이스 데이터에 따르면, 미국과 중국이 물리적 인공지능 발전을 주도하는 가운데 3분기 로봇 스타트업 투자 규모가 185% 급증했다.
크런치베이스 데이터에 따르면, 2026년 로봇 스타트업에 대한 벤처 투자가 급증했으며, 투자금의 대부분은 중국과 미국에 기반을 둔 기업들로 집중됐다. 전체적으로, 크런치베이스 데이터에 따르면 3분기 글로벌 로봇 스타트업에 대한 벤처 투자 규모는 99억 달러로, 이는 2025년 3분기의 43억 달러보다 두 배 이상 증가한 수준이다.
할인 거래가 무너지면서 AI 토큰 판매는 더욱 어려워지고 있다
모델 크레딧이 페스티벌 프로모션과 통신사형 팩에 등장하고 있다. 불투명한 마진으로 성장해 온 소규모 리셀러들은 품질에 대한 의문, 규제 강화, 그리고 더 많은 자금을 갖춘 경쟁업체들에 직면했다. 지속 가능한 중개업체들은 비밀 가격 인하가 아니라 라우팅, 신뢰, 통합에 대해 비용을 청구할 것이다.
SAP, 더 지능적이고 관리된 Joule 에이전트로 자율 기업 전략을 한층 더 추진합니다
SAP SE는 오늘 개발자를 위한 연례 TechEd 컨퍼런스에서 인공지능 혁신 제품군을 발표하며, Joule 어시스턴트 솔루션과 비즈니스 AI 플랫폼을 고도화했습니다. 여기에는 테이블형 데이터 기반 모델도 포함됩니다. Joule Work의 새로운 기능은 AI 에이전트가 더욱 효율적으로 작동하고 개방형 프로토콜과 상호운용성을 갖도록 지원합니다. 이와 관련해 모델 컨텍스트 프로토콜[…] SAP는 더 지능적이고 관리된 Joule 에이전트를 통해 자율적 기업 전략을 한층 더 추진하고 있습니다. 이 글은 SiliconANGLE에 처음 게재되었습니다.