제목, 요약, 본문을 검색해 흩어진 정보를 연결하세요.
arXiv:2610.31728v1 발표 유형: 신규 초록: 뮤온은 대규모 언어 모델 학습에서 인기 있는 최적화 방법으로 자리잡았지만, 그 이론적 토대는 아직 잘 이해되지 않고 있다. 본 연구에서는 기울기 노이즈의 기하학적 특성이 뮤온의 전처리 효과를 어떻게 형성하는지 분석한다. 먼저, 고전적인 등방성 노이즈 가정 하에서는 뮤온이 학습률의 재조정 외에는 추가적인 가속 효과를 제공하지 않음을 이론적·실험적으로 보여준다. 이를 계기로 우리는 이질적인 작업 빈도를 갖는 연상 기억 시스템에서 미니배치 샘플링에 의해 발생하는 구조화된 노이즈를 탐구하기로 한다. 두 가지 작업에 대해 정확한 균형 임계점을 규명하고, 이를 다중 작업으로 확장하여 작업 커버리지와 기울기 신뢰성이 학습을 어떻게 공동으로 조절하는지 밝힌다. 우리의 분석에 따르면, 뮤온은 다음과 같은 효과를 완화할 수 있음을 보여준다.
arXiv:2610.31894v1 발표 유형: 신규 요약: 최근의 희소 자동부호기(SAE)는 대규모 언어 모델(LLM)의 표현을 해석 가능한 특징으로 분해하여, 인코딩된 지식을 정밀하게 읽어내고 제어할 수 있도록 합니다. 그러나 기존 SAE는 각 특징을 독립적인 단위로 취급하는 반면, 실제 세계의 지식은 종종 계층적으로 분류되어 있습니다. 그 결과, 읽어내기 과정에서는 분류학적 일관성이 보장되지 않으며, 제어 또한 수정 범위를 구체적으로 지정할 만큼 세분화되지 못합니다. 이에 우리는 TaxoSAE를 제안합니다. TaxoSAE는 is-a(상위-하위 관계)를 기반으로 한 분류학적 정보를 SAE의 특징 공간에 명시적으로 인코딩합니다. TaxoSAE는 각 분류 수준마다 하나씩 구성된 여러 개의 SAE로 이루어진 계층적 구조를 모사하며, 특정 개념이 활성화될 때마다 해당 개념이 작동하도록 학습시키는 분류학적 정렬 손실을 도입합니다.
arXiv:2610.31985v1 발표 유형: 신규 초록: LLM 에이전트는 점점 더 많은 협업 환경에서 배치되고 있으며, 이들 에이전트는 자원을 공유하고 심사 또는 감독 프로세스 하에 각자 별개의 작업을 수행합니다. 이러한 환경에서는 에이전트가 악의적이거나 단순히 도움을 주려는 경우에도 안전상의 위험이 발생할 수 있습니다. 기존 연구들은 주로 적대적 행동이나 명시적으로 결탁한 행동을 중심으로 다루어 왔으나, 우리는 별개의 목표를 추구하는 선의의 에이전트들이 의도된 워크플로를 우회하는 방식으로 자발적으로 협력할 수 있음을 보여줍니다. 우리는 이를 \emph{유용한 에이전트 문제}라고 부릅니다. 우리는 장기적인 시야를 가진 공동 자원 환경을 연구하며, 이 환경에서는 에이전트들이 때때로 동료가 소유한 자원에 의존하고, 소유권 변경은 일반적으로 심사자가 중재하는 구조를 갖습니다. 심사가 불가능해지면, 에이전트
arXiv:2610.32389v1 발표 유형: 신규 초록: 롤아웃에서 학습으로의 궤도 전송은 대규모 언어 모델 강화학습(RL)에서 학습 품질과 시스템 효율성 모두에 영향을 미칩니다. 배치 전체에 걸친 학습 요구사항을 강제할 경우, 완료된 궤도의 수용이 지연되어 아키텍처의 구식화가 심화됩니다. 이는 분산 파이프라인 처리와 동일 장소에서의 실행 간의 추가적인 파라미터 버전 격차로 나타납니다. 수용 외에도, 데이터 접근과 학습 소비 간의 불일치로 인해 대규모 궤도 페이로드를 전송할 때 중복 이동과 불필요한 대기 시간이 발생합니다. 우리는 세 가지 설계를 통해 롤아웃에서 학습으로의 경로를 조정하는 KnitTrans 시스템을 제안합니다. 첫째, 제약을 유지하는 미니배치 수용 방식을 통해 초기 미니배치 구성에 대한 유연성을 제공합니다.
arXiv:2610.32045v1 발표 유형: 신규 초록: AI-포-사이언스 에이전트는 과학적 가설을 제시하고, 자율 실험을 수행하며, 증거를 해석하는 데 점점 더 널리 활용되고 있습니다. 이러한 에이전트들은 도메인 특화형 에이전트 하네스에 대규모 언어 모델(LLM)을 통합하여 구축되며, 이는 LLM의 과학적 역량을 향상시키고 모델이 과학적 도구들을 조율할 수 있도록 합니다. 본 연구에서는 LLM이 AI-포-사이언스 에이전트 하네스에 통합될 때 모델의 안전성이 유지되는지 여부를 검토합니다. 우리는 50개의 유해한 화학 관련 요청에 대해 다섯 가지 에이전트 하네스를 평가합니다. 구체적으로, 직접 프롬프팅, 두 가지 간단한 적대적 프롬프팅 전략, 그리고 적응형 공격 하에서 안전성 행동이 어떻게 변화하는지를 분석합니다. 최근 출시된 GPT의 네 가지 변종을 대상으로 한 결과는 다음과 같습니다.
arXiv:2610.31808v1 발표 유형: 신규 초록: 우월적·경멸적 언어(PCL)는 취약 계층을 폄하하고 동정을 강요하는 유해한 언어의 한 형태로, 사회적 부정적 고정관념을 강화합니다. 그러나 노골적인 증오 표현과 달리, 심지어 인간 판사에게도 감지하기가 매우 어려운 경우가 많습니다. 본 논문에서는 PCL을 자동으로 감지하는 시스템을 제안합니다. 첫 번째 접근법은 정적 단어 임베딩과 합성곱 신경망을 사용하여 분류를 수행하며, 두 번째 접근법은 PCL 태스크에 맞게 미세조정된 사전 훈련된 BERT 임베딩을 활용합니다. 두 번째 접근법이 훨씬 더 성공적이었으며, 개발 세트에서 F1 점수 0.528을 기록했습니다.
arXiv:2610.32115v1 발표 유형: 신규 요약: 희소 혼합 전문가 모델(MoE)은 신경망 기계 번역(NMT)의 확장성과 언어 이질성을 관리하는 데 있어 강력한 패러다임입니다. 그러나 자원 제약이 있는 디바이스에서의 적용에는 실질적인 한계가 존재합니다: 전체 전문가 풀이 메모리에 상주해야 하며, 토큰당 연산 예산은 학습 과정 중에 경직된 최상위 k 라우팅 방식으로 고정됩니다. 우리는 EDWARD-NMT(신경망 기계 번역을 위한 적응형 라우팅과 이중 일관성을 갖춘 탄력적 차원)를 제안합니다. 이는 한 번 학습하고 어디서나 배포할 수 있는 패러다임을 지향하는 새로운 MoE 인코더-디코더 아키텍처로, 추론 시 다양한 배포 가능한 하위 네트워크들을 제공합니다. EDWARD-NMT는 세 가지 주요 혁신을 통합합니다: (i) 마트료시카 스타일의 탄력적 차원을 통해 메모리 사용량을 유연하게 줄이고; (ii) a
arXiv:2610.31704v1 발표 유형: 신규 초록: 비파괴 검사(NDI)는 손상을 일으키지 않으면서 인프라와 제조 부품의 안전성과 신뢰성을 보장하는 데 필수적인 현대 품질보증의 핵심입니다. 본 논문은 현재 NDI 분야의 전반적인 동향을 종합적으로 검토하며, 계산 알고리즘, 물리적 기법, 산업 응용 및 연구 목표라는 네 가지 서로 다른 관점에서 해당 분야를 분석합니다. 우리는 광범위한 학술 문헌을 종합하여 수동적이고 아날로그식 해석에서 디지털화된 데이터 중심 패러다임인 NDE 4.0으로의 급속한 발전 과정을 보여줍니다. 우리의 분석은 초음파와 시각 검사가 주요 물리적 기법으로 우위를 점하고 있음을 강조하는 동시에, 상당한 변화가 나타나고 있음을 드러냅니다.
arXiv:2610.32241v1 발표 유형: 신규 초록: 전통적인 휴리스틱 방법들은 공간 활용도와 레이아웃의 콤팩트성 등 3D 박스 패킹의 핵심 목표에 대해 인위적으로 설계된 규칙 기반 논리를 바탕으로 오랜 경험을 축적해 왔습니다. 그러나 이들 방법은 일반화 능력과 동적 시나리오에 대한 적응력에서 명백한 한계를 보입니다. 강화 학습의 공간 탐색 능력과 확산 학습의 데이터 분포 모델링 능력을 통합한 확산 강화 학습은 행동 분포 모델링 및 의사결정 준수 제약 조건 측면에서 일정한 성과를 거두었습니다. 그럼에도 불구하고 3D 박스 패킹에서의 공간 위상 구조에 대한 인식 부족과 레이아웃 최적화 능력의 제한 등의 문제는 여전히 남아 있습니다.
arXiv:2610.32069v1 발표 유형: 신규 초록: 최근 다중 모달 대규모 언어 모델(MLLM)은 단일 모델 내에서 교통 상황을 인지하고 이를 바탕으로 추론하며 주행 행동을 제안할 수 있습니다. 그러나 기존의 MLLM 기반 주행 시스템은 매 프레임마다 처음부터 다시 추론을 수행하고 단 하나의 설명에만 의존하여, 이전의 상황에 대한 여러 가설을 버리게 됩니다. 상황이 모호할 경우, 에이전트는 잘못된 해석에 고정되어 증거가 축적되기 전에 그에 따라 행동하게 됩니다. 본 논문에서는 DriveMind를 제안합니다. 이는 MLLM 기반 주행 프레임워크로, 상황에 대한 여러 가지 가설을 동시에 유지하면서 새로운 프레임이 도착할 때마다 각 가설의 가중치를 업데이트합니다. 입자 필터링에서 영감을 받은 DriveMind는 각 가설을 VLM을 통해 전파하고, 현재 관찰과 비교하여 점수를 매긴 뒤 재표본화하여 m
arXiv:2610.32583v1 발표 유형: 크로스 요약: 다중에이전트 결정론적 GLP(madGLP)는 비동기식 메시지 전달만을 통해 상호작용하는 에이전트들로서 그라스루츠 로직 프로그램(GLP)을 실행하며, 모든 발송된 메시지는 결국 전달된다는 공정한 전달을 가정합니다. 각 에이전트는 사용자의 공개키로 식별되는 개인의 스마트폰에서 실행됩니다. 그라스루츠 플랫폼은 네트워크 외에는 어떠한 글로벌 자원도 의존하지 않으므로, 에이전트들은 블루투스 저에너지, 로컬 네트워크, 그리고 NAT 뒤에서 인터넷을 통해 누구나 운영할 수 있는 렌더부 서버를 이용해 서로 연결되어야 합니다. 이러한 네트워크가 madGLP에 요구하는 바와, 네트워크가 플랫폼에 요구하는 바는 아직 명시되지 않았습니다. 우리는 madGLP 아래의 네트워킹 계층을 구체적으로 규정합니다. GLP에서 수행 가능한 모든 작업은 GLP에서 이루어지며, 이 계층은 단지
arXiv:2610.31687v1 공지 유형: 신규 요약: 대규모 언어 모델은 설문조사와 같은 목적으로 인간 행동을 시뮬레이션하고 탐구하는 데 점점 더 많이 활용되고 있습니다. 이러한 응용에서 핵심적인 성질은 출력이 분포적 정합성을 만족한다는 점입니다. 즉, 모델의 출력 분포가 특정 기준(이 경우 인간) 분포와 일치해야 합니다. 분포적 정합성을 달성하는 데 있어 큰 장애물은 소규모 학습 데이터로부터의 일반화입니다. 본 연구에서는 (1) LLM을 어떻게 분포적으로 정합시킬 수 있는지, 그리고 (2) 정합된 LLM이 미처 보지 못한 샘플들 및 관련 없는 주제와 과제들로까지 어떻게 일반화될 수 있는지를 탐구합니다. 두 개의 대규모 벤치마크를 사용하여, LLM이 실제로 분포적 정합성을 달성할 수 있으며 동일한 도메인 내의 미처 보지 못한 질문들에 대해서도 일반화 가능하다는 사실을 확인했습니다. 주제 간 일반화는 각 주제 간의 관계에 따라 달라집니다(예:
arXiv:2610.32060v1 발표 유형: 신규 초록: 다중 에이전트 LLM 시스템은 토론, 증거 공유 및 상호 교정을 통해 추론 능력을 향상시키는 것을 목표로 하지만, 상호작용 과정에서는 최종 정확도만으로는 설명할 수 없는 다양한 실패가 발생할 수 있습니다. 에이전트들은 지나치게 빨리 수렴하거나, 이견을 무시하거나, 올바른 소수 의견을 억압하거나, 여러 라운드에 걸쳐 잘못된 프레임을 유지하는 등의 문제를 겪을 수 있습니다. 우리는 의료 QA, 코딩, 금융, 다중 홉 추론, 윤리, 그리고 체화된 텍스트 작업 등 다양한 분야에서 수집된 3,211개의 실패한 다단계 대화 트래젝터리를 바탕으로, 데이터셋과 시스템 설계별 실패 분포, 라운드 수준의 오류 동역학, 복구 난이도, 다수 의견 전환, 소수 의견 신호 억압, 그리고 자가 보고된 신뢰도 등을 분석하기 위한, 데이터셋 기반의 의사소통 실패 분류체계를 제시합니다. 이를 통해 우리는 다음과 같은 사실을 발견했습니다.
arXiv:2610.31810v1 발표 유형: 신규 초록: 심지어 꼼꼼히 교정된 논문이라도 증명 과정이나 명시된 가정에 작은 허점이 남아 있을 수 있습니다. 우리는 PaperFormalizer를 소개합니다. 이는 Lean 기반의 에이전트형 파이프라인으로, 저자가 자신의 논문에서 이러한 허점을 찾아 메우고 각 논문을 Lean 검증 버전으로 전환할 수 있도록 지원합니다. LaTeX 소스를 기반으로 PaperFormalizer는 논문을 진술들의 의존 관계 그래프로 변환한 뒤, 각 자연어 표현을 대상으로 진실성, 모호성 및 정확성을 검토하고, 이후 Lean에서 Mathlib, 선택적 도메인 라이브러리 및 저자의 개인 도구 세트를 활용해 해당 진술들을 형식화하고 증명합니다. 어떤 진술이 무엇을 의미하는지, 그리고 결과에 존재하는 형식화상의 허점을 어떻게 가장 잘 해결해야 하는지는 오직 저자만이 알고 있습니다. 따라서 이 파이프라인은 중단되어 저자에게 요청합니다.
arXiv:2610.31718v1 발표 유형: 신규 초록: 금융 거래 네트워크는 자연스럽게 다중그래프로 표현되며, 동일한 계좌 쌍 간의 반복된 거래는 서로 다른 엣지로 모델링된다. 최근에 제안된 다중그래프 신경망 아키텍처들은 이러한 구조를 명시적으로 활용하여 자금세탁방지(AML) 과제에서 높은 성능을 달성한다. 그러나 탐지를 회피하기 위해 거래 구조를 조작하는 적대자들에 대한 이들의 강인성은 아직 거의 탐구되지 않았다. 우리는 노드-엣지 인시던스 행렬을 이용한 다중그래프 신경망의 구조적 공격 및 적대적 학습을 위한 최초의 확장 가능한 프레임워크를 제시하며, 이러한 다중그래프 위에서 구조적 변동을 최적화하기 위해 투영된 경사 하강법과 투영된 무작위 블록 좌표 하강법을 적용한다.
arXiv:2610.31803v1 발표 유형: 신규 초록: 시각적 사양을 기반으로 물리적으로 안정적인 3D 구조를 생성하려면, 객체 간의 물리적 상호작용을 고려하면서도 기하학적 모호성을 해결해야 합니다. 우리는 주어진 블록 재고와 세 개의 직교 투영 실루엣을 조건으로 하여 안정적인 블록 조립체를 생성하는 프레임워크인 StackGen3D를 제안합니다. 우리의 접근법은 두 단계로 구성됩니다. 첫째, 블록 간의 지지 관계를 모델링하고, 다양한 안정 구조의 데이터셋을 선별하기 위한 빠른 안정성 예측기로 작용하는 물리 기반 그래프 신경망(PI-GNN)을 개발합니다. 둘째, 이 데이터셋을 바탕으로 조건부 흐름 일치 모델을 학습하여, 목표 실루엣과 일치하는 블록 배치의 다모드 분포를 포착합니다. 추론 시에는 가벼운
arXiv:2610.31911v1 발표 유형: 신규 초록: 대규모 언어 모델(LLMs)이 점점 더 긴 시퀀스를 처리함에 따라, 주의 메커니즘은 주요 계산 병목으로 부각되고 있습니다. 희소 주의는 대부분 추론 단계에 초점을 맞추지만, 여전히 많은 방법들이 밀집형으로 학습되거나 희소 학습을 지원하지 못하며, 추가적인 복잡성으로 인해 희소성이 실제 월클럭 속도 향상으로 이어지기 어려워져 결국 실무에서는 밀집형 주의가 널리 사용되고 있습니다. 본 논문에서는 주의 학습이 후방 패스에 의해 주로 결정된다는 관찰에 기반한 전방 밀집·후방 희소 주의 방식인 LazyFlash를 제안합니다. LazyFlash는 전방 패스를 정확히 밀집형으로 유지하여, 학습된 모델이 vLLM과 같은 기존 시스템에서 아무런 변경 없이 서비스할 수 있는 표준 밀집형 모델로 남도록 합니다. 후방 패스에 대해서는 LazyFlash는 그라디언트-a를 제안합니다.
arXiv:2610.32215v1 발표 유형: 신규 초록: 현대 GPU 데이터 센터의 컴퓨팅 파워 증가로 인해 일부 산업 거대 기업들이 대규모 데이터를 활용하여 대형 언어 모델(LLM)을 훈련하고 배포할 수 있게 되었습니다. 그러나 이러한 모델과 그 학습 데이터의 엄청난 규모는 중앙 집중식 개발을 점점 더 지속하기 어렵게 만들고 있으며, 동시에 관련된 개인 데이터를 보유하되 이에 상응하는 인프라를 갖추지 못한 소규모 기관들을 배제하고 있습니다. 본 논문에서는 분산형 LLM 훈련에 관한 우리의 입장을 사전 학습 및 미세 조정 패러다임을 중심으로 정리하고, 연합 학습, 분할 학습 및 탈중앙화 접근법을 다루며, 이들 방법이 이질적인 하드웨어와 신뢰성 낮은 연결성을 가진 지리적으로 분산된 환경에서 어느 정도 준비되어 있는지 평가합니다. 이어서 우리는 {\em 통합}된 시스템을 제시합니다
arXiv:2610.32803v1 발표 유형: 신규 초록: 대부분의 고성능 블록체인에서 사용되는 합의 프로토콜은, 검증자 구성원들의 서명을 하나로 묶는 쿼럼 인증서를 활용합니다. BLS와 같은 서명 체계는 전체 쿼럼의 서명을 단일한 짧은 서명으로 집약할 수 있어, 이러한 인증서의 크기를 작게 유지합니다. 그러나 대규모 양자 컴퓨터가 등장하면 이러한 체계는 무력화되며, 현재까지는 동등한 집약 크기와 집약 시간을 갖는 포스트-양자 체계는 알려져 있지 않습니다. 집약이 없을 경우, 각 인증서에는 쿼럼 구성원 한 명당 하나의 대형 포스트-양자 서명이 포함되므로, 현대의 합의 프로토콜들이 종종 요구하는 바와 같이 각 검증자가 인증서를 네트워크에 전송하는 것은 사실상 불가능해집니다. 이에 우리는 다수의 동시 제안자를 갖춘 포스트-양자 합의 프로토콜인 퀀텀 캐던스를 제안하며,
arXiv:2610.31722v1 발표 유형: 신규 초록: 마이크로서비스 시스템은 대규모 클라우드 애플리케이션의 주류 아키텍처로 자리잡아 빠른 배포와 탄력적 확장을 가능하게 합니다. 그러나 마이크로서비스 시스템의 신뢰성과 가용성을 보장하는 데는 효과적인 이상 탐지가 매우 중요하며, 장애나 성능 이상이 서비스 간에 빠르게 전파되어 종단 간 시스템 동작에 심각한 영향을 미칠 수 있습니다. 기존의 마이크로서비스 시스템용 다중모달 이상 탐지 방법들은 두 가지 근본적인 한계로 인해 어려움을 겪습니다: (i) 모달별 특성을 무시하고 교차 모달 융합에 치중하는 점과, (ii) 특징 재구성 과정에 영향을 미치는 ‘정체성 단축’ 문제입니다. 이러한 문제를 해결하기 위해 우리는 자동회귀형
