Show HN: LLMBrake – OpenAI/Anthropic API 호출에 대한 고객별 달러 한도
기사 URL: https://github.com/llmbrake/llmbrake 댓글 URL: https://news.ycombinator.com/item?id=50386174 포인트: 2 # 댓글: 0
AI NEWS JOURNAL
AI 뉴스 검색
제목, 요약, 본문을 검색해 흩어진 정보를 연결하세요.
NVIDIA DGX Spark에서 MoE 추론을 향상시키는 3가지 방법
토큰을 더 빠르게 생성하려면 먼저 추론 성능을 제한하는 요인을 파악하는 것부터 시작합니다. NVIDIA에서 Inclusion AI의 Ling-3.0-flash를 대상으로 한 배치 크기 1 평가에서는...
Meta AI 이사 로힛 파텔이 마이크로소프트 오피스와 구글 워크스페이스를 맡기 위해 회사를 떠납니다.
로힛 파텔은 AI 평가와 강화학습 분야에서 8년간 근무한 뒤 메타를 떠난다고 테크크런치가 단독으로 확인했다. 그의 스타트업 엔닥(Ndoc)은 마이크로소프트 오피스 스위트에 도전하는 것을 목표로 한다.
귀하의 AI 에이전트에도 최고운영책임자(COO)가 필요합니다
AI 에이전트를 확장하려면, 이를 규제된 직무에 종사하는 직원처럼 대우해야 하며, 서면으로 정해진 규정과 명확히 규정된 책임, 그리고 그 성과에 대해 책임을 지는 담당 인력이 있어야 합니다. 게스트 필자인 Get Covered의 COO 리크 폴그만은 기업들에게 먼저 확립된 규칙에 따라 관리되는 업무부터 시작하고, 각 워크플로의 위험 수준에 맞춰 자율성을 조정하며, 에이전트의 권한을 확대하기 전에 결과를 정기적으로 검토할 것을 권고합니다.
바이두, 수백 페이지 문서 파싱을 위한 무제한 OCR 2 오픈소스 출시
바이두는 MIT 라이선스를 적용한 3B 규모의 OCR 모델인 ‘Unlimited OCR 2’를 출시했으며, 이 모델은 한 번의 요청으로 수백 페이지에 달하는 문서를 처리할 수 있습니다. 해당 모델의 SR-SWA 주의 메커니즘은 단계별 디코딩 비용을 거의 일정하게 유지하며, MarathonDocBench에서 77.1점의 성능을 기록했습니다. 본 글은 ‘바이두, 수백 페이지 문서 파싱을 위한 Unlimited OCR 2 오픈소스화’라는 제목으로 MarkTechPost에 처음 게재되었습니다.
OpenAI, GPT-6.1 Terra를 출시하며 에이전트 작업에 대한 GPT-6.1 Sol의 API 가격을 절반으로 인하
OpenAI는 GPT-6.1 Terra를 출시했으며, 이 모델은 매 백만 토큰당 1달러/5달러의 가격으로 제공되는 고속 컴퓨터 사용 및 비전 모델입니다. 이 모델은 GPT-6 Astra의 중간 수준 노력 기반 에이전트들의 최종 시험 점수를 달성하며, 작업당 비용은 0.29달러로, 기존의 4.82달러에 비해 크게 낮아졌습니다. 해당 게시물인 “OpenAI, GPT-6.1 Terra 출시… 에이전트 작업 시 GPT-6.1 Sol의 API 가격 절반”은 MarkTechPost에 처음 게재되었습니다.
Workiva의 Amplify 행사에 대한 theCUBE의 보도에서 놓쳤을 수 있는 세 가지 인사이트
기업용 AI 거버넌스는 이제 자동화 시스템이 무엇을 할 수 있는지를 결정하는 데이터, 워크플로우 및 제어 체계로 확장되고 있습니다. 에이전트가 금융, 감사, 규정 준수 및 지속 가능성 분야에서 중요한 업무를 맡게 되면서, 조직들은 비즈니스 맥락에 기반하고 출처를 추적할 수 있으며 명확한 책임 체계로 관리되는 결과를 필요로 합니다. TheCUBE의 Workiva Amplify 행사 미리보기는 […]를 강조했습니다. TheCUBE의 Workiva Amplify 행사 보도에서 놓쳤을 수 있는 세 가지 인사이트는 처음으로 SiliconANGLE에 게재되었습니다.
OpenAI가 세 가지 주요 과학적 발견과 학계와 협력하는 새로운 방식을 발표했습니다.
수년간 미해결이던 수학 문제의 해법을 담고 있다고 밝힌 수백 편의 원고를 대규모로 공개한 지 한 달도 채 되지 않아, OpenAI는 수학, 컴퓨터 과학, 물리학 분야에서 또다시 세 가지의 “중대한” 발견을 발표했습니다. 이번에는 특히, OpenAI가 ‘셰퍼드’라고 부르는 외부 전문가들이 결과를 안내하는 방식을 선택했다는 점이 다릅니다 […]
데이터 문화가 제로 트러스트에서 배포 가능한 AI 분석 에이전트에 이르기까지의 여정을 어떻게 측정했는가
Data Culture는 AI 분석 도입 초기의 정확도를 0%에서 94.7%로 끌어올린 3단계 평가 프레임워크를 구축했습니다.
ASRock 크리에이터 라데온 AI 프로 R9700 리뷰: AMD 스타일의 워크스테이션 추론
오늘은 워크스테이션용 ASRock의 고급형 Radeon AI 추론 카드인 Creator Radeon AI Pro R9700을 살펴봅니다. 32GB의 RAM과 1,700달러의 가격대를 갖춘 이 카드는 로컬 AI 추론을 위한 워크스테이션을 구성하는 데 있어 매우 합리적인 선택입니다. 본 글 ‘ASRock Creator Radeon AI Pro R9700 리뷰: AMD 스타일의 워크스테이션 추론’은 ServeTheHome에 처음 게재되었습니다.
메인프레임에서 AI 기반 성숙까지: Verisk의 데이터 현대화 여정
Verisk는 AI 대응 가능성을 높이기 위해 메인프레임에서 dbt로 이전하는 방식으로 수십 년간의 보험 데이터를 현대화했습니다.
무법자 AI 에이전트 집단이 더 나은 아이디어를 얻는 데 대해 우리에게 무엇을 가르쳐줄 수 있을까
벤 스탄실은 허깅 페이스 해킹을 활용해, 가장 유용한 아이디어가 왜 가장 기이한 연결에서 비롯되는지 설명합니다.
케빈 루스는 AGI에 사로잡혔다. 당신은 왜 그렇지 않은가?
오늘은 AI 산업의 최근 급격한 변화를 상세히 다룬 신간 『AGI 연대기』의 저자이자 기자인 케빈 루스와 이야기를 나눕니다. 케빈은 오랜 기간 뉴욕타임스의 기자로 활동해 왔으며, 인기 팟캐스트 ‘하드 포크’의 진행자이기도 합니다. 그러나 그는 이 프로그램의 친구인 케이시 뉴턴과 함께 최근 […]을 떠났습니다.
IBM은 Granite 시계열 통합 예측 모델을 발표했습니다: 네 가지 모델을 미세조정 없이 결합하여 안정적인 기본 예측 솔루션을 제공합니다.
IBM 리서치는 오픈소스인 Granite Timeseries Ensemble(v1)을 출시했으며, PatchTST-FM-r1/r2, FlowState 및 Tiny Time Mixers 등 네 가지 사전훈련 아키텍처를 통합해 제로 편향(zero-shot) 미세조정 없이도 확률적 앙상블 예측을 지원합니다. 기본적으로 동등한 가중치의 확률적 앙상블(Probabilistic Ensemble)을 채택하며, 사분위 범위 기반 적응형 가중치(IQR Ensemble) 옵션도 제공합니다. GIFT-Eval 벤치마크(2026-10-20 기준 스냅샷)에서 점예측 오차(MASE=0.683)는 최고의 단일 모델보다 약간 우수하며, 전반적인 로버스트성이 크게 향상되었습니다.
i14, Laplace 3B 선형 주의 메커니즘 모델 발표: AWS Trainium2와 네이티브 PyTorch를 기반으로 한 고정 상태 메모리 추론 구현
i14는 30.28억 개의 파라미터를 갖는 Laplace 3B 모델을 출시했으며, Softmax 주의 메커니즘을 대체해 게이트 제어 선형 주의(GLA)를 채택했습니다. 이 모델은 추론 시 각 시퀀스의 재귀 상태 크기가 항상 29.5 MB로, 컨텍스트 길이와 무관합니다. 해당 모델은 AWS trn2.48xlarge 인스턴스 한 대(Trainium2 칩 16개 탑재)에서 훈련 및 서비스 검증을 완료했으며, 훈련 처리량은 초당 12만 토큰에 달하고, 서비스 처리량은 초당 11,544 출력 토큰(동시 실행 시퀀스 수 1,280)입니다. 모든 성능 데이터는 i14와 AWS GenAIIC 팀의 내부 실측 결과입니다.
터미널 X는 고위 투자자의 판단을 GPT-6.1과 비교하여 88.6%의 일치율을 보입니다.
터미널 X의 평가 에이전트는 54개 기준의 평가 척도에 따라 결과를 점수 매기며, GPT-6.1 솔루션을 사용할 경우 펀드의 운용 방침에서 벗어난 사례를 25% 더 많이 포착합니다.
llm-echo 0.5
릴리스: llm-echo 0.5 저는 새로운 LLM 릴리스를 준비하고 있으며, PR 테스트 과정에서 llm-echo 디버그 플러그인을 다시 살펴보게 되었습니다. 이 플러그인은 LLM을 전혀 사용하지 않고, 단순히 입력된 프롬프트를 그대로 반복하는 ‘모델’을 제공합니다. 이번 새 릴리스에서는 도구 호출, 시스템 프롬프트, 추론 토큰까지 고려하여 시뮬레이션된 토큰 사용량 카운트를 업데이트했습니다. 예시 사용법: uvx --with llm-echo llm -m echo 'hi there' -o thinking 1 --usage 출력 결과: 먼저 프롬프트를 검토한 후, 무엇을 말할지 결정합니다. { "prompt": "hi there", "system": "", "attachments": [], "stream": true, "previous": [] } 토큰 사용량: 입력 2개, 출력 24개 태그: llm
GPT-6.1 Sol 소개
GPT-6.1 Sol : Astra의 표준 API 입력 및 출력 토큰 가격으로 코딩, 컴퓨터 사용 및 전문 작업에 대한 가까운 아스트라 인텔리전스.
NVIDIA H100 GPU가 출시되었습니다
NVIDIA H100 GPU가 출시되었으며, 성능이 향상되고 비용은 절감되었습니다.