왜 AI는 밀레니엄 문제를 풀 수 있지만 RSI는 아직도 해결하지 못할까｜Hao의 트렌드 이야기
텐센트 테크놀로지 산하 펭귄 지식원의 첨단 기술 논문 해설 코너. 코드와 비즈니스가 만나는 지점에서 AI의 확실성을 모색한다. 글｜보양 편집｜쉬칭양 최근 한동안 이론 수학과 물리학 분야의 뉴스만을 살펴보면, 마치 ....
AI NEWS JOURNAL
AI 뉴스 검색
제목, 요약, 본문을 검색해 흩어진 정보를 연결하세요.
학습자는 MIT의 동료들과 협력하여 인공지능 통찰에 관한 책을 집필합니다.
프라바 자는 MIT 오픈 러닝의 고위 임원 대상 프로그램에서 얻은 경험을 바탕으로, 자신의 직장인 버라이즌을 위해 인공지능 솔루션을 개발하고 한 권의 책을 집필했습니다.
ProtoEEG: EEG 시각적 해독을 위한 구조화된 프로토타입 정렬
arXiv:2610.33065v1 발표 유형: 신규 초록: 두피 기록은 잡음이 많고 공간적 해상도가 낮으며 실험 조건과 피실험자 간에 변동성이 크기 때문에 EEG를 통한 시각적 해독은 여전히 어려운 과제로 남아 있습니다. 대부분의 시스템은 각 실험을 고밀도 이미지 임베딩과 정렬하지만, 이러한 임베딩은 의미적 내용과 개별 사례에 특화된 질감, 자세, 배경 등을 혼합하고 있습니다. 이는 EEG에서 제공되지 않는 세부 정보를 요구할 뿐만 아니라, 예측을 뒷받침하는 시각적 요인들에 대한 명시적인 설명도 제공하지 않습니다. 우리는 \textbf{ProtoEEG}라는 프로토타입 기반 프레임워크를 제안합니다. 이 프레임워크는 EEG와 이미지 간의 정렬 문제를 공유 가능한 학습 가능한 시각 코드북 위에서 이루어지는 소프트한 합성으로 재구성합니다. 학습 가능한 EEG 인코더와 고정된 시각 교사가 동일한 $K=64$개의 프로토타입에 대한 할당 분포를 생성하며, 이들의 가중치를 적용한 재구성 결과는 구조화된 표현을 형성합니다
OpenESM: 에너지 기반 모델은 확장 가능하며, 파운데이션 학습자들입니다
arXiv:2610.33005v1 발표 유형: 신규 초록: 에너지 기반 모델은 도메인 특화 작업에서 유망한 성능을 보여왔지만, 범용 시나리오를 모델링하는 데는 여전히 어려움이 있습니다. 이러한 격차를 해소하기 위해 우리는 기초 언어 모델링을 위한 에너지 주도형 모델(ESM)을 설계합니다. ESM은 단일 아키텍처 내에서 에너지 주도와 토큰 생성을 통합하여, 에너지 기반 탐색을 활용해 토큰 생성을 정교화합니다. 구체적으로, ESM은 먼저 에너지 지형 위에서 잠재 상태를 최적화한 다음, 이 정교화된 잠재 상태를 토큰 생성에 활용합니다. 대규모 말뭉치를 대상으로 이러한 에너지 기반 사전훈련을 수행함으로써, ESM은 유리한 토큰이 낮은 에너지 값을 갖는 일반적으로 효과적인 에너지 지형을 학습합니다. ESM의 스케일링 특성을 탐구하기 위해, 우리는 ESM을 사전훈련합니다
ReMedI: 제어 가능한 분자 최적화를 위한 추론 시 정제 및 자기 디스틸레이션
arXiv:2610.32103v1 발표 유형: 신규 초록: 약물 개발에서 리드 최적화는 투과성을 높이고 독성을 낮추는 등 상충되는 특성을 개선하는 동시에, 리드의 효능을 저해할 수 있는 골격 변화를 제한해야 한다. C-MORAL과 같은 RL 기반 사후 학습은 분자 언어 모델을 미세 조정하여 관심 있는 목표에 대해 분자 리드를 직접 최적화함으로써 이러한 문제를 해결하지만, 이는 비용이 많이 드는 특정 작업용 데이터셋에 의존하며 다목적 최적화(MOO) 달성에도 어려움을 겪는다. 우리는 사전 학습된 모델이 이미 제로샷 생성으로는 효율적으로 도달하기 어려운 유용한 분자 수정 정보를 포함하고 있을 수 있다고 주장한다. 제로샷 생성의 제한된 탐색 능력에 착안하여, 우리는 효율적인 메트로폴리스-허스팅스 탐색 전략을 개발하여 베팅…
EVOLVE: 적응형 프로토타입 메모리를 활용한 불확실성 인식 다변량 시계열 이상 탐지
arXiv:2610.32189v1 발표 유형: 신규 초록: 비지도형 다변량 시계열 이상 탐지(AP)는 현재 관측값을 바탕으로 향후 이상 위험을 추정하여, 복잡한 시스템에서 선제적 개입과 유지보수를 위한 조기 경고 신호를 제공하는 것을 목표로 합니다. 기존의 비지도형 AP 방법들은 정해진 또는 무작위적인 섭동을 과거 창에 주입하여 비정상적인 미래 진화를 시뮬레이션하는 방식의 섭동 기반 패러다임을 따릅니다. 그러나 이러한 방법들은 서로 다른 변수와 맥락 간에 동일한 섭동을 공유하며, 결정론적 방식으로 과거에서 미래로의 진화를 학습합니다. 실제로 이상 현상의 진화는 변수와 상황에 따라 달라지며, 동일한 섭동이 한 변수나 맥락에서는 비정상적인 미래 동역학으로 증폭될 수 있는 반면, 다른 경우에는 정상적인 변동으로 흡수되기도 합니다.
희박한 검색 기록을 활용한 검색: 불완전한 검색 로그와 제로 비용 프록시를 통한 교차 작업 아키텍처 탐색
arXiv:2610.32179v1 발표 유형: 신규 초록: 신경망 아키텍처 탐색(NAS)은 비용이 많이 들지만, 교차 작업 전이를 통해 이전 작업에서 얻은 지식을 재사용함으로써 비용을 절감할 수 있습니다. 그러나 기존 방법들은 희박한 검색 기록과 작업별 전이 실패 문제에 어려움을 겪습니다. 우리는 챔피언 기반 초기화와 공동 쌍방향 랭커 사전 학습을 통해 희박한 소스 로그와 제로 비용 프록시를 결합하는 위험에 강인한 전략을 제안합니다. TransNAS-Bench-101에서 본 제안은 심각한 최악의 경우 실패를 완화하여, 마이크로 자동인코딩에서는 최악 10% 순위를 290에서 43으로, 매크로 방 배치에서는 465에서 45로 낮추었습니다. 13개의 셀 공간 목표에 걸쳐, 평균 및 최악의 경우 성능 모두에서 프록시만 사용하는 랭커보다 10개의 목표에서 우수한 성능을 보이며, 동시에 경쟁력 있는 평균 성능도 유지합니다.
트랜스포머 이론을 시험에 들이기
arXiv:2610.32104v1 발표 유형: 신규 초록: 변환기 아키텍처의 능력과 한계를 규명하기 위해 여러 가지 형식적 이론들이 개발되어 왔으며, 각 이론은 아키텍처의 서로 다른 특징을 포착하는 다양한 추상화 방식을 사용한다. 이러한 이론들은 기본 가정과 개념적 틀의 차이로 인해, 변환기가 어떤 과제를 쉽게 또는 어렵게 여길지에 대한 예측에서 서로 상충될 수 있다. 우리는 변환기 능력에 관한 일곱 가지 이론(Star-free, $\mathsf{AC}^0$, $\mathsf{TC}^0$, C-RASP, MPC, BAPO, 그리고 Sensitivity)을 정리하고, 이를 다양한 계산 구조를 포괄하는 여러 과제 세트에 걸쳐 공통적인 예측 매트릭스로 변환하였다. 또한 이 매트릭스를 완성하기 위한 새로운 이론적 결과를 제시한다. 이후 우리는 이론적…
실시간 분할 제어에서 제로샷 조정을 위한 인지적 제약을 가진 파트너
arXiv:2610.31726v1 발표 유형: 신규 초록: 효과적인 인간-기계 팀워크를 위해서는 예측 불가능한 인간 파트너와 협력하는 에이전트가 필요합니다. 실시간 인간 피드백이나 대규모 행동 데이터셋을 기반으로 한 강화학습은 비용이 많이 들며, 순수하게 시뮬레이션된 학습은 인공적인 규칙에 과적합되어 실제 사람들과의 제로샷 조정에서는 실패합니다. 우리는 인지적 제약을 가진 파트너를 상대로 팀워크 에이전트를 학습시키는 프레임워크를 제안합니다. 이 시뮬레이션 파트너들은 보상 설계나 과거 학습 체크포인트가 아닌, 인간의 생리학적 문헌에 근거한 절차적 제약—특히 반응 지연과 지각 한계—에서 비롯된 다양성을 갖습니다. 수정된 루나랜더 환경에서, 이러한 파트너들이 더 유사하게 플레이한다는 초기 증거를 보고합니다.
온라인 3D 박스 패킹을 위한 공간 휴리스틱 전략 기반 확산 강화 학습
arXiv:2610.32241v1 발표 유형: 신규 초록: 전통적인 휴리스틱 방법들은 공간 활용도와 레이아웃의 콤팩트성 등 3D 박스 패킹의 핵심 목표에 대해 인위적으로 설계된 규칙 기반 논리를 바탕으로 오랜 경험을 축적해 왔습니다. 그러나 이들 방법은 일반화 능력과 동적 시나리오에 대한 적응력에서 명백한 한계를 보입니다. 강화 학습의 공간 탐색 능력과 확산 학습의 데이터 분포 모델링 능력을 통합한 확산 강화 학습은 행동 분포 모델링 및 의사결정 준수 제약 조건 측면에서 일정한 성과를 거두었습니다. 그럼에도 불구하고 3D 박스 패킹에서의 공간 위상 구조에 대한 인식 부족과 레이아웃 최적화 능력의 제한 등의 문제는 여전히 남아 있습니다.
GLP 네트워킹 API 사양
arXiv:2610.32583v1 발표 유형: 크로스 요약: 다중에이전트 결정론적 GLP(madGLP)는 비동기식 메시지 전달만을 통해 상호작용하는 에이전트들로서 그라스루츠 로직 프로그램(GLP)을 실행하며, 모든 발송된 메시지는 결국 전달된다는 공정한 전달을 가정합니다. 각 에이전트는 사용자의 공개키로 식별되는 개인의 스마트폰에서 실행됩니다. 그라스루츠 플랫폼은 네트워크 외에는 어떠한 글로벌 자원도 의존하지 않으므로, 에이전트들은 블루투스 저에너지, 로컬 네트워크, 그리고 NAT 뒤에서 인터넷을 통해 누구나 운영할 수 있는 렌더부 서버를 이용해 서로 연결되어야 합니다. 이러한 네트워크가 madGLP에 요구하는 바와, 네트워크가 플랫폼에 요구하는 바는 아직 명시되지 않았습니다. 우리는 madGLP 아래의 네트워킹 계층을 구체적으로 규정합니다. GLP에서 수행 가능한 모든 작업은 GLP에서 이루어지며, 이 계층은 단지
장기적인 시계열에서의 세계 모델을 위한 기울기 기반 계획
GRASP은 학습된 역학(“세계 모델”)을 위한 새로운 기울기 기반 계획법으로, 다음과 같은 세 가지 방법을 통해 장기적 계획을 실용적으로 구현합니다: (1) 궤적을 가상 상태로 변환하여 시간에 걸쳐 최적화를 병렬로 수행하고, (2) 탐색을 위해 상태 반복 단계에 직접 확률성을 추가하며, (3) 기울기를 재구성하여 행동에 명확한 신호를 부여하는 동시에 고차원 비전 모델을 통한 취약한 “상태 입력” 기울기를 피합니다. 대규모 학습된 세계 모델들은 점점 더 높은 성능을 발휘하고 있습니다. 이들은 고차원 시각 공간에서 미래 관찰의 긴 시퀀스를 예측할 수 있으며, 불과 몇 년 전만 해도 상상하기 어려웠던 방식으로 다양한 작업에 걸쳐 일반화됩니다. 이러한 모델들이 규모를 확장함에 따라, 점차 특정 작업에 맞춘 예측기보다는 범용 시뮬레이터로 변화해 가고 있습니다. 그러나 강력한
LLM을 위한 대규모 상호작용 식별
복잡한 기계학습 시스템, 특히 대규모 언어 모델(LLMs)의 동작을 이해하는 것은 현대 인공지능에서 매우 중요한 과제입니다. 해석 가능성 연구는 모델 개발자와 그 영향을 받는 인간에게 의사결정 과정을 보다 투명하게 만들고, 더 안전하고 신뢰할 수 있는 AI로 나아가는 데 기여합니다. 포괄적인 이해를 얻기 위해 우리는 이러한 시스템을 다양한 관점에서 분석할 수 있습니다: 예측을 이끄는 특정 입력 특성을 규명하는 특성 부여(Feature Attribution)(Lundberg & Lee, 2017; Ribeiro et al., 2022); 모델의 행동을 영향력 있는 학습 예시들과 연결하는 데이터 부여(Data Attribution)(Koh & Liang, 2017; Ilyas et al., 2022); 그리고 내부 구성 요소의 기능을 세밀히 분석하는 기계적 해석 가능성(Mechanistic Interpretability)(Conmy et al., 2023; Sharkey et al.