Show HN:무료 웹 도구
기사 URL: https://nyneon.net/tools/ 댓글 URL: https://news.ycombinator.com/item?id=50418253 포인트: 3 # 댓글: 2
AI NEWS JOURNAL
AI 뉴스 검색
제목, 요약, 본문을 검색해 흩어진 정보를 연결하세요.
NUMA-Torch: 멀티소켓 CPU에서 컴파일러 기반 NUMA 인식 LLM 프리필
arXiv:2611.07105v1 발표 유형: 신규 초록: 온칩 캐시에 매개변수를 저장할 수 없는 충분히 큰 변환기 기반 대규모 언어 모델(LLM)의 경우, 멀티 소켓 CPU에서의 프리필 처리량은 최대 부동소수점 처리량이 아닌 지속 가능한 DRAM 대역폭에 의해 종종 제한됩니다. 표준 PyTorch 컴파일(즉, TorchInductor) 경로에서는 메모리 뱅크와 연산 코어 간의 연관성을 고려하지 않고 모델 가중치를 할당합니다. 이로 인해 가중치 접근의 상당 부분이 소켓 간 상호 연결을 통과하게 되어 각 소켓에서 사용할 수 있는 유효 메모리 대역폭이 크게 저하됩니다. 우리는 TorchInductor를 NUMA-aware로 만드는 컴파일러 수준의 솔루션을 통해 이러한 병목 현상을 해결합니다. 각 NUMA 소켓을 독립적인 텐서 병렬 파티션으로 취급하여 NUMA-aware Tensor Parallelism(NUMA-TP)을 도입합니다. 이 방법은 소켓 간에 가중치를 투명하게 분할하고 연산 커널을 스케줄링하여 스레드 풀과 메모리 할당이 CPU 연관성을 활용해 해당 소켓 내에서 엄격히 로컬로 유지되도록 합니다. 우리는 GPT-2(117M, 345M, 762M) 및 BERT(Small, Large)와 같은 표준 다중 헤드 주의와 MLP를 테스트하며, Multi-Query Attention과 GeGLU 게이트된 MLP를 결합한 Gemma 3 270M에서도 이 접근법을 평가합니다. 데이터 지역성을 엄격히 준수함으로써 우리의 접근법은 소켓 간 트래픽을 성공적으로 완화하여 듀얼 소켓 Haswell 플랫폼에서 최대 2.63배, 듀얼 소켓 Cascade Lake 플랫폼에서 최대 1.87배, 그리고 사중 소켓 Haswell-EX 플랫폼에서 최대 2.27배의 프리필 속도 향상을 달성했습니다.
Show HN: LLMBrake – OpenAI/Anthropic API 호출에 대한 고객별 달러 한도
기사 URL: https://github.com/llmbrake/llmbrake 댓글 URL: https://news.ycombinator.com/item?id=50386174 포인트: 2 # 댓글: 0
언어 모델의 응답 다양성에 대한 조건부 상호 정보 분석
arXiv:2611.03836v1 발표 유형: 신규 초록: 대형 언어 모델은 추론(생성) 시 다양한 응답을 제공하며, 이는 전통적으로 온도 파라미터에 의존합니다. 조건부 상호정보 접근법을 사용하여 응답 다양성에 대한 양적이고 엔트로피 기반의 분석을 제시합니다. 무에서 최대 상호정보에 이르는 세 가지 한계 행동을 정의합니다: 중재자, (조건부) 독립, 그리고 중립(결정론적). 각 행동에 대한 예시를 제시하고, 이를 온도 분석, 언어 분석, 프롬프트 압축 및 지식 그래프에 적용할 수 있도록 제안합니다.
추론은 위상적으로 단순합니다
arXiv:2611.03739v1 발표 유형: 신규 초록: 우리는 추론 텍스트가 비추론 텍스트보다 더 단순한 공현상 위상을 가진다는 가설과, 고품질 추론이 저품질 추론보다 더 단순한 공현상 위상을 가진다는 가설을 정식화하고 검증합니다. 또한 AI 안전성 및 AI 평가에 대한 응용 방안을 논의하고 실험합니다.
공정한 딥페이크 탐지를 위한 교차적 불변 학습
arXiv:2610.37881v1 발표 유형: 신규 초록: 딥페이크 탐지 모델은 전반적인 정확도는 높지만, 인구통계학적 집단 간 성능 격차가 크기 때문에 일부 집단에서는 다른 집단에 비해 훨씬 높은 거짓양성률을 경험하게 됩니다. 기존의 공정성 지향 방법들은 모델 출력을 제한하여 집단별 예측을 균등화하는 방식으로 이 문제를 해결하려 하지만, 근본적인 특징 수준의 편향에는 대응하지 못합니다. 그 결과, 모델들이 여전히 피부 질감과 같은 인구통계학적 특성을 조작된 콘텐츠를 탐지하는 간접적 단서로 활용할 수 있는 상황이 발생합니다. 이러한 문제를 해결하기 위해 우리는 모델 출력만을 조정하는 것이 아니라 특징 학습 자체를 개선하는 프레임워크인 교차적 불변 학습(IIL)을 제안합니다. IIL은 가장 어려운 인구통계학적 하위 집단을 식별하는 과정을 반복적으로 수행하며
의료 영상 간 최적 운송을 위한 볼록 잠재력 학습
arXiv:2610.37844v1 발표 유형: 신규 초록: 의료 영상 간 최적 운송 지도를 계산하는 일은 형태학적 분석에서 근본적인 역할을 합니다. 그러나 기존 방법들은 대규모 3D 의료 영상에 대한 확장이 어렵거나, 근사적인 운송 지도만 제공하는 정칙화된 공식에 의존합니다. 후속 의료 영상 분석의 정확성을 높이기 위해, 우리는 볼록 잠재력 함수를 매개변수화함으로써 최적 운송 지도를 추정하는 새로운 접근법을 제안합니다. 이 방법은 설계 상 결과로 도출되는 운송 지도가 베르니에 정리와 일치하며 회전성이 없음을 보장합니다. 우리는 제안한 방법을 2D 및 3D 의료 영상 데이터셋에서 평가했습니다. 실험 결과는 우리 접근법이 더 낮은 운송 추정 오차를 달성하고 더 높은 q
모델 교정을 위한 변환된 국소화된 사후 추론: 해양 난류 폐쇄 모델에의 응용
arXiv:2610.37731v1 발표 유형: 신규 초록: 모델의 불일치로 인해 단일 교정 파라미터만으로는 전체 맥락 영역에서 물리적 반응을 재현할 수 없을 수 있습니다. 또한 관측값과 맥락의 불확실성은 교정에 영향을 미치며, 이를 반드시 고려하고 정량화해야 합니다. 우리는 목표 맥락에 대한 근접성에 따라 관측 가능성을 가중하는 방식으로 일련의 국소화된 사후 분포를 구성합니다. 가우시안 국소화 가중치는 공분산 확장을 통해 맥락 불확실성을 반영하며, 도메인 경계에서는 반사를 적용하고, 맥락 표본 채취가 고르지 않은 경우에 대비한 선택적 보정도 제공합니다. 조건부 정규화 흐름을 이용하여 변환된 변분 추론을 통해 이들 사후 분포의 집합을 근사합니다. 규정된 맥락 측도 하에 국소화된 사후 분포들을 통합하면
음식 유사성은 무엇을 구성하는가? 인도 요리에서의 시각적 표현과 검색
arXiv:2610.37867v1 발표 유형: 신규 초록: 음식 유사성은 검색, 추천, 대체 등 다양한 음식 컴퓨팅 작업의 기반이 되지만, 일반적으로 음식 표현은 동일성 유지 여부를 기준으로 평가된다. 우리는 동일성 외에 음식 유사성이 어떻게 변화하는지에 대해 질문한다: 서로 다른 시각적 표현들이 음식들을 관계적 이웃으로 어떻게 정렬하며, 이러한 이웃이 어떤 요리적 관계를 드러내거나 숨기는지, 그리고 이러한 구조가 여러 표현들 간에 얼마나 일관되게 나타나는지를 살펴본다. 인도 요리는 시각적으로 유사한 음식들이 서로 다른 요리적 정체성을 가질 수 있는 동시에, 하나의 요리 계통 내에서도 외형이 크게 다를 수 있는 도전적인 환경을 제공한다. 확장된 Khana 데이터셋과 컨볼루션, 트랜스포머를 아우르는 일곱 가지 사전 훈련된 시각적 표현을 활용하여
FilingLoop: 기업 공시 검토 및 수정을 위한 LLM 에이전트 평가 및 진화
arXiv:2610.37905v1 발표 유형: 신규 초록: SEC EDGAR와 같은 공시 저장소는 기업 공시에 대한 웹 접근을 통해 정보에 기반한 투자를 지원합니다. 이러한 문서의 검토를 언어 모델 기반 에이전트로 지원하려면, 관련 문서들 간의 미표명된 결함을 발견하고, 누락된 회사 정보를 확보하며, 요청된 수정 사항이 증거에 근거한 요구사항을 충족하는지 검증해야 합니다. 기존의 재무 관련 질문-답변 평가는 이러한 상호작용 능력에 대해 제한적인 근거만 제공합니다. 우리는 기업 공시 검토 및 수정을 위한 대화형 벤치마크이자 자체 진화형 에이전트 프레임워크인 \textbf{FilingLoop}을 소개합니다. FilingLoop은 미국 증권거래위원회의 역사적 서신을 바탕으로, 96개 기업의 주로 IPO 검토 과제 380개를 재구성합니다.
스포크, 링이 아니다: 언어 모델의 주중 다양체 재검토
arXiv:2610.37796v1 발표 유형: 신규 초록: 최근 연구에서는 대규모 언어 모델이 특정 개념을 단일 방향이 아닌 다차원적 다양체로 표현할 수 있다고 가정해 왔습니다. 이러한 다양체를 활용하여 표현을 해석하거나 조정하는 과정에서는, 일반적으로 다양체를 따라 이동하는 것이 표현된 개념에 대한 연속적인 변화와 일치한다고 여겨집니다. 본 연구에서는 이러한 연속적 다양체 가정을 전형적인 주중 다양체에 대해 검증합니다. 주목할 만한 원형 기하학에도 불구하고, 우리는 주중 표현들이 연속적인 링이라기보다는 원형으로 배열된 일곱 개의 분리된 상태와 더 유사하다는 점을 발견했습니다. 첫째, 국소적 민감도가 요일에 맞춰 일곱 개의 최소점을 가지며, 이는 다양체 내 조정 하에서 표현과 행동 간의 계단식 매핑을 생성함을 보여줍니다. 둘째, w
단시간 푸리에 변환의 병렬 구현 비교 연구
arXiv:2610.38069v1 발표 유형: 신규 초록: 단시간 푸리에 변환(STFT)은 긴 신호의 짧은 지속 시간 창에 대해 푸리에 변환을 계산하며, 이를 통해 주파수가 시간에 따라 어떻게 변화하는지를 특성화한다. 푸리에 변환 알고리즘, 특히 고속 푸리에 변환(FFT) 알고리즘은 병렬 컴퓨팅을 활용하기 위해 잘 발전되어 왔지만, 병렬 단시간 푸리에 변환 알고리즘의 성능을 이해하는 데 관한 연구는 아직 제한적이다. 본 연구에서는 FFT 기반 알고리즘과 준병렬 피드포워드 알고리즘 두 가지를 구현하고, 서로 비교 분석하였다. 그 결과, 낮은 동시성 환경에서는 준병렬 알고리즘이 실행 시간 면에서 우수하지만, …
의료 영상 분야를 위한 책임 있는 양자 기계 학습: 민감한 하위 집단 전반에 걸친 공정성 감사
arXiv:2610.37819v1 발표 유형: 신규 초록: 양자 기계 학습(QML)은 의료 분류 작업에서 점점 더 활발히 탐구되고 있지만, 하위 집단을 고려한 공정성 기준 하에서의 성과는 아직 충분히 연구되지 않았다. 우리는 QML이 본질적으로 공정하지 않다는 가정 하에, 의료 영상 분석을 위한 클래식 및 양자 분류기의 실증적 공정성 감사를 제시한다. 두 가지 시나리오를 평가하며, DDI 데이터를 이용한 피부병변 분석(민감 속성: 피츠패트릭 피부 타입)과 CheXpert에서 파생된 데이터를 활용한 흉부 X선 이미지 분석(민감 속성: 연령대)을 포함한다. ResNet-18 임베딩을 사용하여, 기본 설정과 세 가지 완화 조치 설정—미분 가능한 Equalized Odds (EO) 정규화, Gradient Reversal Learning (GRL), 그리고 이 두 가지를 결합한 방식—하에 SVM, MLP, QSVM 및 QCNN을 학습시킨다. 또한 기초 모델들(PanDerm, EVA-X)은 외부 기준으로 활용된다.
저역 통과 동역학을 넘어서: 공명 뉴런을 갖춘 주파수 선택적 스파이킹 저수지
arXiv:2610.37906v1 발표 유형: 신규 초록: 스파이킹 저수지 컴퓨팅은 고정된 재귀형 저수지의 학습 효율성과, 매 테이프스텝마다 밀집하여 연산을 수행하는 대신 희소한 스파이크에 의해 연산이 촉발되는 이벤트 기반 추론의 에너지 효율성을 결합한다. 그러나 기존의 스파이킹 저수지는 거의 대부분 누설 통합-화재(LIF) 뉴런에 의존하며, 이 뉴런들의 저역 통과 동역학은 서로 다른 시간 주파수로 부호화된 정보를 구분하는 능력을 제한한다. 우리는 HRF-Res를 제안하는데, 이는 LIF 뉴런을 조화 공명-화재(HRF) 뉴런의 이질적인 집단으로 대체한 액체 상태 머신이다. 이러한 뉴런들은 내재된 진동 동역학을 보이며 입력 주파수에 선택적으로 반응하여, 저수지가 주파수
시퀀싱 프로토콜 이해를 위한 AI 에이전트 평가 및 개선
arXiv:2610.37851v1 발표 유형: 신규 초록: 기존의 과학적 에이전트 벤치마크는 에이전트가 시퀀싱 프로토콜에서 명시된 정확한 분자 구조와 생성 워크플로를 재구성할 수 있는지에 대해 거의 평가하지 않으며, 이는 맞춤형 시퀀싱 분석을 수행하는 데 매우 중요한 역량입니다. 우리는 시퀀싱 라이브러리 구조와 분자 워크플로를 재구성하기 위한 문서 기반 벤치마크인 LibStructBench를 제안합니다. 우리의 실험 결과에 따르면, 최첨단 에이전트들은 대체로 대략적인 재구성을 수행하긴 하지만, 특히 분자 상태 표현과 워크플로 연결성 측면에서 정확한 재구성에는 여전히 신뢰성이 부족한 것으로 나타났습니다. 또한, 기본 언어 모델을 변경하는 것이 에이전트 하네스를 교체하는 것보다 평균 성능 차이를 더 크게 발생시켰으며, 이는 통계적으로 유의미한 차이였습니다.
DistOptimize: 분산 프로토콜의 자동 최적화
arXiv:2610.39017v1 발표 유형: 신규 초록: 분산 합의 및 일관성 프로토콜은 이해하기 어렵지만 클라우드의 기반이 되므로, 배포 전에 종종 엄격한 증명과 형식 검증 과정을 거칩니다. 그러나 프로토콜 수정에는 이러한 수준의 엄밀성이 거의 적용되지 않으며, 생산 환경에서는 이러한 수정이 빈번히 발생해 안전성을 위협합니다. 본 논문에서는 수동 수정으로 인한 안전성 위반 위험을 제거하기 위해, 분산 프로토콜을 위한 자동 최적화 도구인 DistOptimize를 제안합니다. DistOptimize는 학술용 언어에서 개발된 처리량 최적화 기법을 실제 운영 환경에서 사용되는 프레임워크에 적용하고, Rocq 언어를 통해 재작성의 정확성을 검증하며, 교정과 ILP 기반 탐색을 결합하여 이를 자동으로 적용합니다.
TRACEs: 분산 과학 워크플로우를 위한 세밀한 임베디드 퍼베넌스
arXiv:2610.39981v1 발표 유형: 신규 초록: 대규모 과학 워크플로우는 분산된 HPC 자원에서 실행되므로, 과학 데이터 산출물이 어떻게 생성되는지와 왜 동일한 워크플로우 실행에서도 매우 다른 결과가 나올 수 있는지를 설명하기가 어렵습니다. 기존 시스템은 주로 분산 워크플로우 실행 또는 퍼베넌스 관리에만 집중하며, 세밀한 수준의 퍼베넌스를 분산 과학 데이터 아티팩트의 본질적 속성으로 다루는 경우는 드뭅니다. 우리는 TRACEs(고급 컨테이너화 실행을 위한 추적 가능한 런타임)를 제안합니다. 이는 분산된 컨테이너화된 과학 워크플로우를 위한 퍼베넌스 아키텍처로서, 생성된 모든 데이터 아티팩트에 데이터 계보와 실행 컨텍스트를 직접 내장합니다. 퍼베넌스를 워크플로우 오케스트레이션과 분리함으로써, TRACEs는 아티팩트 중심의 퍼베넌스를 일반화합니다.
이질성이 언제 가치를 발휘하는가? GPU와 WSE 시스템의 상호보완성 이해
arXiv:2610.39222v1 발표 유형: 신규 초록: AI 가속기 아키텍처가 점점 더 다양해짐에 따라, 서로 다른 아키텍처를 통합한 단일 시스템 구현이 새로운 이종 컴퓨팅 패러다임으로 부상하고 있다. GPU와 WSE는 연산, 메모리, 통신 구조에서 상당히 차이를 보이며, 이로 인해 아키텍처 간 상호보완성과 추가적인 오버헤드가 동시에 발생하지만, 이러한 이질성을 실제 성능 향상으로 전환하는 방법은 아직 명확히 밝혀지지 않았다. 이 문제를 해결하기 위해 우리는 GPU–WSE 이종 실행 환경과 상호보완성을 활용할 수 있는 조건을 규명하는 계층적 벤치마킹 방법론을 제안하며, 또한 이질성이 시스템 차원의 성능 향상을 가져오는 경우와 병목 현상으로 작용하는 경우를 식별하는 분석적 성능 모델을 함께 제시한다.
FlatCake: LLM 서비스를 위한 평면형 KV캐시 저장 아키텍처
arXiv:2610.38355v1 발표 유형: 신규 초록: KV 캐시 재사용은 LLM 서비스를 가속화하지만, 기존 시스템들은 호스트 DRAM과 NVMe SSD를 계층적 하위 구조로 관리하며, DRAM을 중간 캐시로 활용합니다. 그러나 실제 생산 환경의 LLM 워크로드는 이러한 계층 구조의 두 가지 전제 조건을 모두 무너뜨립니다. 첫째, 이중 모드 재사용 방식은 DRAM의 시간적 필터링 기능을 무력화합니다. 왜냐하면 워크로드는 재사용 거리가 긴 일회성 블록이나 DRAM 용량을 초과하는 수기가바이트 규모의 에이전트 세션으로 구성되어 있어 SSD가 핵심 읽기 경로에 위치하게 되기 때문입니다. 둘째, DRAM의 스테이징과 제거 순서에 따른 배치 방식은 SSD 복원 과정을 병목으로 만듭니다. 인-플라이트 프리픽스를 위해 호스트 스테이징 버퍼를 유지하면 부하 상황에서 컨텐션을 유발해 프리페치 작업이 중단되며, 증분식 제거는 세션의 블록들을 SSD 전체에 분산시켜 대규모 연속 읽기를 방해합니다. 우리는 p
Seq@K: 순차적 피드백 하에서 언어 모델 평가
arXiv:2610.37859v1 발표 유형: 신규 초록: 언어 모델 기반 에이전트는 맥락 속의 자연어로부터 학습할 수 있다는 점에서 기존 지능형 시스템과 근본적으로 다릅니다. 이러한 능력은 현대 에이전트 워크플로우에서 널리 사용되는 방식인, 피드백에 따라 답변을 반복적으로 개선해 나가는 것을 가능하게 합니다. 그러나 커뮤니티에서는 주로 Pass@1이나 Pass@K와 같은 지표로 모델을 평가해 왔으며, 이는 모델이 이전 시도에서 얻은 피드백을 어떻게 활용하는지를 포착하지 못합니다. 우리는 각각의 이전 시도가 실패했을 때마다 피드백을 제공받아, K번의 연속된 시도 내에 문제를 해결할 수 있는지 여부를 측정하는 자연스러운 평가 프로토콜인 Seq@K를 제안합니다. 장기 계획을 검토하는 다단계 에이전트 벤치마크와 달리, Seq@K는 개선이라는 핵심 역량을 분리하고 이를 정식화합니다.