저장한 도구도구 추천
FOXAI SEARCH

전체 검색

뉴스 기사 208

i14, Laplace 3B 선형 주의 메커니즘 모델 발표: AWS Trainium2와 네이티브 PyTorch를 기반으로 한 고정 상태 메모리 추론 구현

i14는 30.28억 개의 파라미터를 갖는 Laplace 3B 모델을 출시했으며, Softmax 주의 메커니즘을 대체해 게이트 제어 선형 주의(GLA)를 채택했습니다. 이 모델은 추론 시 각 시퀀스의 재귀 상태 크기가 항상 29.5 MB로, 컨텍스트 길이와 무관합니다. 해당 모델은 AWS trn2.48xlarge 인스턴스 한 대(Trainium2 칩 16개 탑재)에서 훈련 및 서비스 검증을 완료했으며, 훈련 처리량은 초당 12만 토큰에 달하고, 서비스 처리량은 초당 11,544 출력 토큰(동시 실행 시퀀스 수 1,280)입니다. 모든 성능 데이터는 i14와 AWS GenAIIC 팀의 내부 실측 결과입니다.

AWS 머신러닝 블로그

llm-echo 0.5

릴리스: llm-echo 0.5 저는 새로운 LLM 릴리스를 준비하고 있으며, PR 테스트 과정에서 llm-echo 디버그 플러그인을 다시 살펴보게 되었습니다. 이 플러그인은 LLM을 전혀 사용하지 않고, 단순히 입력된 프롬프트를 그대로 반복하는 ‘모델’을 제공합니다. 이번 새 릴리스에서는 도구 호출, 시스템 프롬프트, 추론 토큰까지 고려하여 시뮬레이션된 토큰 사용량 카운트를 업데이트했습니다. 예시 사용법: uvx --with llm-echo llm -m echo 'hi there' -o thinking 1 --usage 출력 결과: 먼저 프롬프트를 검토한 후, 무엇을 말할지 결정합니다. { "prompt": "hi there", "system": "", "attachments": [], "stream": true, "previous": [] } 토큰 사용량: 입력 2개, 출력 24개 태그: llm

사이먼 윌리슨

Anthropic tells investors quarterly revenue up nearly 50% to $16.8bn ahead of IPO

Anthropic tells investors quarterly revenue up nearly 50% to $16.8bn ahead of IPO The phrase "told investors" appears four times in this FT article, which reports on Anthropic's day of hosting investors on Wednesday. Lots of details in here from "people with knowledge of the matter". Key things I learned from the article: Q1 revenue (Jan/Feb/Mar) was "about $4.8bn" Q2 (Apr/May/Jun) was $11.5bn Q3 (Jul/Aug/Sep) was $16.8bn In Q3: $1.70 in revenue for every $1 spent on "computing power" Adjusted operating margins (excluding stock-based compensation) were 11% This point about distillation is worth quoting in full (highlight mine): The start-up has also clamped down on “distillation” — a controversial practice whereby rival AI labs train their models on the outputs of more advanced ones. When

번역 서비스가 일시 중지되어 원문을 표시합니다.
사이먼 윌리슨

llm-gemini 0.35

Release: llm-gemini 0.35 I added support to llm-gemini for the new Gemini 4 Argon model, made available today via the Gemini API and for customers of their $100/month subscription plan. Here are the low, medium and high pelicans. As expected, they are all excellent: Gemini has a track record of producing great SVGs, and are the only lab where I know their staff have invested in SVG specifically (and who have boasted about their pelicans before.) Here's the "high" illustration, which cost me 17.166 cents: The pricing is interesting. At launch, Argon is $2/million input and $10/million output - the same price as GPT-6 Sol, half the price of Claude Opus 5.5 and 1/5th the price of Claude Fable 5.1 and GPT-6 Astra. But on December 1st Argon is set to double in price - so it will be the same pri

번역 서비스가 일시 중지되어 원문을 표시합니다.
사이먼 윌리슨