본문으로 건너뛰기
AI NEWS JOURNAL
AI, IN PERSPECTIVE

AI 뉴스 검색

제목, 요약, 본문을 검색해 흩어진 정보를 연결하세요.

발행 시간순

GRAFT: 에이전트 설계를 위한 실행 기반 유전자 재조합

arXiv:2611.23509v1 발표 유형: 신규 초록: 자동 에이전트 설계는 언어 모델 크로스오버를 사용하여 작업 분해, 모델 조정 및 검증을 위한 유망한 메커니즘을 재조합하는 진화적 방법으로 LLM 기반 에이전트 성능을 향상시키는 실행 가능한 아키텍처를 탐색합니다. 그러나 이러한 탐색은 일반적으로 집계 적합도만으로 안내되며, 이는 각 점수 뒤에 숨겨진 인스턴스 수준의 성공과 실패를 가려냅니다. 우리는 에이전트 설계를 위한 실행 안내형 유전 재조합(GRAFT)을 제안하며, 여기서 집계 적합도는 선택과 생존에 사용되고 부모별 실행 증거는 통합된 변이와 함께 의미적 크로스오버를 안내하는 데 활용됩니다. 이 시스템의 피드백 하네스는 적합도 평가에서 얻은 성공 및 실패 실행의 제한된 샘플을 재사용하며, 참조 답안을 보류하고 추가적인 작업 실행을 요구하지 않습니다. 우리는 개방형 가중치 최적화 및 실행기 모델을 사용하여 여섯 가지 추론 및 프로그래밍 설정에서 GRAFT를 평가합니다. 그 결과 평균 테스트 정확도 82.0%를 달성하여 가장 강력한 기준선을 9.8%포인트 상회합니다. 통제된 제거 실험에 따르면, 초기화, 탐색 규칙, 복구 정책 및 평가 예산을 고정한 상태에서 실행 증거를 추가하면 테스트 정확도가 향상됩니다. 우리의 결과는 진화적 에이전트 설계에 있어 부모별 실행 증거의 가치를 뒷받침합니다.

언어 모델의 응답 다양성에 대한 조건부 상호 정보 분석

arXiv:2611.03836v1 발표 유형: 신규 초록: 대형 언어 모델은 추론(생성) 시 다양한 응답을 제공하며, 이는 전통적으로 온도 파라미터에 의존합니다. 조건부 상호정보 접근법을 사용하여 응답 다양성에 대한 양적이고 엔트로피 기반의 분석을 제시합니다. 무에서 최대 상호정보에 이르는 세 가지 한계 행동을 정의합니다: 중재자, (조건부) 독립, 그리고 중립(결정론적). 각 행동에 대한 예시를 제시하고, 이를 온도 분석, 언어 분석, 프롬프트 압축 및 지식 그래프에 적용할 수 있도록 제안합니다.

공정한 딥페이크 탐지를 위한 교차적 불변 학습

arXiv:2610.37881v1 발표 유형: 신규 초록: 딥페이크 탐지 모델은 전반적인 정확도는 높지만, 인구통계학적 집단 간 성능 격차가 크기 때문에 일부 집단에서는 다른 집단에 비해 훨씬 높은 거짓양성률을 경험하게 됩니다. 기존의 공정성 지향 방법들은 모델 출력을 제한하여 집단별 예측을 균등화하는 방식으로 이 문제를 해결하려 하지만, 근본적인 특징 수준의 편향에는 대응하지 못합니다. 그 결과, 모델들이 여전히 피부 질감과 같은 인구통계학적 특성을 조작된 콘텐츠를 탐지하는 간접적 단서로 활용할 수 있는 상황이 발생합니다. 이러한 문제를 해결하기 위해 우리는 모델 출력만을 조정하는 것이 아니라 특징 학습 자체를 개선하는 프레임워크인 교차적 불변 학습(IIL)을 제안합니다. IIL은 가장 어려운 인구통계학적 하위 집단을 식별하는 과정을 반복적으로 수행하며

진행 상황 및 관련 보도

모델 교정을 위한 변환된 국소화된 사후 추론: 해양 난류 폐쇄 모델에의 응용

arXiv:2610.37731v1 발표 유형: 신규 초록: 모델의 불일치로 인해 단일 교정 파라미터만으로는 전체 맥락 영역에서 물리적 반응을 재현할 수 없을 수 있습니다. 또한 관측값과 맥락의 불확실성은 교정에 영향을 미치며, 이를 반드시 고려하고 정량화해야 합니다. 우리는 목표 맥락에 대한 근접성에 따라 관측 가능성을 가중하는 방식으로 일련의 국소화된 사후 분포를 구성합니다. 가우시안 국소화 가중치는 공분산 확장을 통해 맥락 불확실성을 반영하며, 도메인 경계에서는 반사를 적용하고, 맥락 표본 채취가 고르지 않은 경우에 대비한 선택적 보정도 제공합니다. 조건부 정규화 흐름을 이용하여 변환된 변분 추론을 통해 이들 사후 분포의 집합을 근사합니다. 규정된 맥락 측도 하에 국소화된 사후 분포들을 통합하면

진행 상황 및 관련 보도

LLM 정렬을 위한 리스트와이즈 선호도의 랭크 인식 차분적 개인 정보 보호 공개

arXiv:2610.37682v1 발표 유형: 신규 초록: 리스트와이즈 선호도 피드백은 쌍대비교보다 대규모 언어 모델(LLMs) 정렬을 위한 더 풍부한 감독 정보를 제공하지만, 전체 순위는 더욱 민감한 사용자 선호까지 드러냅니다. 기존의 개인정보 보호형 정렬 방법들은 주로 쌍대비교 피드백에 집중해 왔으며, 로컬 차분적 개인 정보 보호(LDP) 하에서의 리스트와이즈 정렬은 아직 미탐구 상태입니다. LDP를 이러한 리스트와이즈 영역으로 확장하는 데에는 중대한 과제가 따릅니다: 전체 순위 공간의 높은 민감성으로 인해 과도한 노이즈가 발생하여 리스트와이즈 감독의 이점이 무력화될 수 있기 때문입니다. 이 문제를 해결하기 위해 우리는 하위 단계 학습에서 감독의 세분화 정도와 개인정보 보호 노이즈 간의 상호작용을 분석하고, 리스트와이즈 선호도를 개인화하는 랭크 인식 지수 메커니즘을 도입합니다.

진행 상황 및 관련 보도

시퀀싱 프로토콜 이해를 위한 AI 에이전트 평가 및 개선

arXiv:2610.37851v1 발표 유형: 신규 초록: 기존의 과학적 에이전트 벤치마크는 에이전트가 시퀀싱 프로토콜에서 명시된 정확한 분자 구조와 생성 워크플로를 재구성할 수 있는지에 대해 거의 평가하지 않으며, 이는 맞춤형 시퀀싱 분석을 수행하는 데 매우 중요한 역량입니다. 우리는 시퀀싱 라이브러리 구조와 분자 워크플로를 재구성하기 위한 문서 기반 벤치마크인 LibStructBench를 제안합니다. 우리의 실험 결과에 따르면, 최첨단 에이전트들은 대체로 대략적인 재구성을 수행하긴 하지만, 특히 분자 상태 표현과 워크플로 연결성 측면에서 정확한 재구성에는 여전히 신뢰성이 부족한 것으로 나타났습니다. 또한, 기본 언어 모델을 변경하는 것이 에이전트 하네스를 교체하는 것보다 평균 성능 차이를 더 크게 발생시켰으며, 이는 통계적으로 유의미한 차이였습니다.

진행 상황 및 관련 보도

FlatCake: LLM 서비스를 위한 평면형 KV캐시 저장 아키텍처

arXiv:2610.38355v1 발표 유형: 신규 초록: KV 캐시 재사용은 LLM 서비스를 가속화하지만, 기존 시스템들은 호스트 DRAM과 NVMe SSD를 계층적 하위 구조로 관리하며, DRAM을 중간 캐시로 활용합니다. 그러나 실제 생산 환경의 LLM 워크로드는 이러한 계층 구조의 두 가지 전제 조건을 모두 무너뜨립니다. 첫째, 이중 모드 재사용 방식은 DRAM의 시간적 필터링 기능을 무력화합니다. 왜냐하면 워크로드는 재사용 거리가 긴 일회성 블록이나 DRAM 용량을 초과하는 수기가바이트 규모의 에이전트 세션으로 구성되어 있어 SSD가 핵심 읽기 경로에 위치하게 되기 때문입니다. 둘째, DRAM의 스테이징과 제거 순서에 따른 배치 방식은 SSD 복원 과정을 병목으로 만듭니다. 인-플라이트 프리픽스를 위해 호스트 스테이징 버퍼를 유지하면 부하 상황에서 컨텐션을 유발해 프리페치 작업이 중단되며, 증분식 제거는 세션의 블록들을 SSD 전체에 분산시켜 대규모 연속 읽기를 방해합니다. 우리는 p

진행 상황 및 관련 보도

해설을 읽지 않고도 점수를 매기는 방법: 자동 해석 가능성 평가 데이터의 구조적 단축법

arXiv:2610.37676v1 발표 유형: 신규 요약: 자동 해석 가능성은 스파스-오토인코더(SAE) 특성에 대한 설명을 평가하기 위해, 모델에게 평가 예시들에서 해당 특성이 활성화되는 위치를 토큰별로 예측하도록 하거나, 표시된 토큰들이 그 특성에 부합하는지를 판단하도록 요청합니다. 우리는 평가 데이터의 표준 파이프라인이 생성한 결과를 설명을 읽지 않고도 점수 매길 수 있음을 발견했습니다. Neuronpedia에 저장된 GPT-2 소형 특성 500개에 대한 무작위 퍼징 실행 결과에 따르면, 활성화된 예시 중 91.3%가 중심 토큰에 최대값이 위치하도록 잘려 있으며, 중심 토큰이 표시되어 있을 때 “예”라고 판단하는 규칙은 저장된 LLM 점수 매기기 도구들(파이프라인 코드로부터 재구성된 표시 기반 판정 결과를 바탕으로 재산출)의 정확도 0.838에 비해 0.979의 균형 잡힌 정확도를 달성합니다. 또한 표시 개수만을 기준으로 판단하는 규칙은 0.969의 정확도를 보입니다. T

진행 상황 및 관련 보도

3, 7, 14, 17, 42: 지도 조정이 언어 모델의 숫자 선택 휴리스틱을 설치하고 날카롭게 만든다

arXiv:2610.36178v1 발표 유형: 신규 초록: 우리는 임의의 숫자를 요청받았을 때 언어 모델이 1부터 N까지의 각 정수에 부여하는 확률을 표본 오차 없이 측정한다. 고정된 프롬프트 하에서 모델은 하나의 확률 벡터를 정의하며, 이는 표본 추출로 추정하는 방식이 아니라 각 정수의 점수화된 표현을 모두 합산하여 계산함으로써 기존 연구들[1, 4]에서 제한되던 노이즈를 제거한다. 우리는 두 개의 추론 스택에서 N = 100까지의 다섯 가지 범위에 걸쳐 18개의 오픈 웨이트 모델 라인을 29가지 디코딩 구성하에 평가하였으며, 그 중 15개 모델은 사용 가능한 답변을 제공하는 기본 체크포인트와 지도 조정 체크포인트가 모두 일치하였다. 지도 조정은 이 15쌍 모두에서 분포를 보다 균일하지 않게 만들며, 하나의 휴리스틱인 ‘둥근 수 회피’를 도입하고 또 다른 휴리스틱인 ‘종점 회피’를 더욱 명확히 한다. 기본 체크포인트

진행 상황 및 관련 보도

토큰 신뢰도는 과연 체인 길이에 불과한가? 추론 흔적에 대한 신호처리 분석

arXiv:2610.36709v1 발표 유형: 신규 초록: 추론 언어 모델은 수학 문제를 풀 때 긴 사고 체인을 작성하며, 문제당 여러 개의 체인을 샘플링한 뒤 다수결을 통해 정답을 도출하면 생성된 텍스트의 양이 크게 증가하는 대신 정확도가 향상된다. 이 비용을 줄이는 인기 있는 방법으로는, 모델이 각 토큰을 작성할 때 갖는 신뢰도를 기준으로 각 체인을 점수화하는 방식이 있다. 여기서 토큰은 단어 또는 단어의 일부를 의미한다. 이 방법에서는 2048개의 토큰으로 구성된 이동 평균 창을 사용해 해당 신뢰도를 평균화하고, 가장 낮은 평균값을 기준으로 체인을 유지하거나 중단한다. 우리는 토큰별로 기록된 이러한 신뢰도를 오디오나 라디오 신호의 맥락에서 하나의 신호로 간주하고, 스펙트럼 분석 및 갑작스러운 변화를 탐지하기 위한 통계적 검정 등 표준 신호처리 도구를 활용해 이 방법을 검토하였다. 우리는 다음과 같은 문제들로부터 각각 500개의 문제에 대해 16개의 체인을 샘플링했다.

진행 상황 및 관련 보도

프론티어 대규모 언어 모델에서의 애쉬 동조에 대한 정량적 접근

arXiv:2610.36668v1 발표 유형: 신규 초록: 애쉬 동조 실험은 최근 대규모 언어 모델(LLM)에서의 동조를 측정하는 방법으로 상당한 주목을 받고 있습니다. 기존 연구들이 LLM에서의 동조를 입증하는 데 집중해 왔다면, 우리 연구는 이 접근법에 추가적인 정량적 층을 더합니다. 우리는 프론티어 LLM을 여러 질문 세트에 대해 샘플링하는 대신, 단일 질문을 반복적으로 샘플링하여 LLM의 확률적 특성을 활용해 답변 분포를 생성합니다. 이를 통해 모델에 가공된 합의가 제시되기 전후의 답변 분포를 비교할 수 있습니다. 우리의 실험은 프론티어 LLM이 실제로 동조를 보임을 확인하며, 기존 문헌을 뒷받침하고, 분포 간 비교를 통해 추가적인 정보를 제공합니다.

진행 상황 및 관련 보도

야코비 렌즈에 대한 수학적 이론

arXiv:2610.31955v1 발표 유형: 신규 초록: Anthropic의 최근 연구에서는 자코비안 렌즈(J-lens, Gurnee 외, 2026)라는 새로운 해석 도구를 도입했습니다. 이 방법은 최첨단 언어 모델의 은닉 상태에서 작업 기억과 유사한 표현을 연상시키는 특성을 지닌 선형 방향을 식별해냈습니다. 그러나 이러한 특징들이 J-lens에 의해 탐지될 수 있는 기전적 특성이 무엇인지 명확히 밝혀지지는 않았습니다. 이에 따라 우리는 J-lens에 대한 수학적 이론을 제시하고, 이 이론이 특히 일관성 있는 특징들—즉, 공간적으로 정합적인 리아푸노프 모드와 유사하게 작용하는 방향들—을 우선적으로 식별함을 보여줍니다. 이러한 방향을 따라 작은 섭동이 층간에 걸쳐 증폭되며, 토큰 위치 간에도 대체로 일정하게 유지되고, 다양한 문맥에서도 일관성을 보입니다. 다만 w

新闻源配图 · arXiv cs.LG
진행 상황 및 관련 보도

PRISM: 암묵적 확률적 변조를 통한 대규모 언어 모델의 샘플링 다양성 증진

arXiv:2610.32101v1 발표 유형: 신규 초록: 대규모 언어 모델(LLM)은 출력 분포가 익숙한 의미적 패턴에 집중되는 모드 붕괴 현상을 보입니다. 다양성이 사라지면, 반복적인 샘플링은 발견이 아니라 의미적 반복으로 변하게 되어 흔하지는 않지만 더 강력한 해결책들이 드러나기 어려워지고, 자가 진화와 지속적 학습을 유지하기도 어렵게 됩니다. 대부분의 해결책들은 추론 단계에서만 개입하여 샘플을 조정할 뿐, 다양성을 모델의 핵심 역량으로 만들지는 않습니다. 우리는 훈련 시점에서 다양성을 모델 내부에 내재화하는 프레임워크인 PRISM을 제안합니다. PRISM은 (i) 각 프롬프트에 대해 다양하면서도 정확한 다중 교사 솔루션을 매칭하는 부분모듈러 큐레이션과, (ii) 특수 토큰 변형을 임플로…

진행 상황 및 관련 보도

지혜로운 속삭임: ASR 미세조정을 위한 스마트 서브셋 선택

arXiv:2610.32997v1 발표 유형: 신규 초록: OpenAI의 Whisper와 같은 자동 음성 인식(ASR) 모델은 음성 인식 품질을 크게 향상시켰지만, 특히 대량의 문자화된 오디오 데이터가 존재하는 경우에도 미세조정 비용이 여전히 높습니다. 이로 인해 많은 실무자들이 이러한 모델을 새로운 언어나 도메인에 맞게 적용하는 데 어려움을 겪고 있습니다. 본 연구에서는 ASR 미세조정을 위한 더 작은 교육 세트를 선택하기 위해 임베딩 기반 서브셋 선택 방법을 제안합니다. Whisper의 사전훈련된 인코더를 사용하여 각 오디오 샘플을 고정 차원의 임베딩 공간으로 매핑하고, 탐욕적 k-센터 알고리즘을 적용하여 교육 데이터에서 다양하고 대표적인 서브셋을 선별합니다. 우리는 이 접근법을 히브리어와 덴마크어 두 언어에 대해 평가한 결과, k-센터 선택 방식이 종종 …

新闻源配图 · arXiv cs.CL
진행 상황 및 관련 보도

EVOLVE: 적응형 프로토타입 메모리를 활용한 불확실성 인식 다변량 시계열 이상 탐지

arXiv:2610.32189v1 발표 유형: 신규 초록: 비지도형 다변량 시계열 이상 탐지(AP)는 현재 관측값을 바탕으로 향후 이상 위험을 추정하여, 복잡한 시스템에서 선제적 개입과 유지보수를 위한 조기 경고 신호를 제공하는 것을 목표로 합니다. 기존의 비지도형 AP 방법들은 정해진 또는 무작위적인 섭동을 과거 창에 주입하여 비정상적인 미래 진화를 시뮬레이션하는 방식의 섭동 기반 패러다임을 따릅니다. 그러나 이러한 방법들은 서로 다른 변수와 맥락 간에 동일한 섭동을 공유하며, 결정론적 방식으로 과거에서 미래로의 진화를 학습합니다. 실제로 이상 현상의 진화는 변수와 상황에 따라 달라지며, 동일한 섭동이 한 변수나 맥락에서는 비정상적인 미래 동역학으로 증폭될 수 있는 반면, 다른 경우에는 정상적인 변동으로 흡수되기도 합니다.

진행 상황 및 관련 보도

통합 지상 및 비지상 6G 네트워크에서 의도 기반 서비스 오케스트레이션을 위한 지식 기반 LLM

arXiv:2610.33007v1 발표 유형: 신규 초록: 통합 지상망 및 비지상망(TN/NTN) 6G 네트워크에서의 자연어 기반 서비스 의도는 불완전하거나 모호하거나 일관성이 없을 수 있어, 신뢰할 수 있는 네트워크 기반 오케스트레이션을 위해 제한 없는 LLM 생성이 어려운 상황을 야기합니다. 본 논문에서는 문법 제약을 적용한 의미 분석과 지식 그래프(KG) 기반 명확화 루프를 결합한 지식 기반 LLM 프레임워크를 제안하며, 대표적인 네 가지 서비스 클래스에 걸쳐 검증된 오케스트레이션 준비 완료 상태의 서비스 프로파일을 생성합니다. 200개의 샘플로 구성된 의도 데이터셋에서, 이 프레임워크는 요청당 평균 0.66회의 명확화 단계를 거쳐 분류 정확도 89%와 정책 타당성 95%를 달성합니다. 순수 LLM 기반 베이스라인과 비교했을 때, 제안된 프레임워크는 정책 타당성을 향상시키고 co

진행 상황 및 관련 보도

다양체 위의 흐름 매칭을 위한 호환 가능성

arXiv:2610.31981v1 발표 유형: 신규 초록: 가장 간단한 비유클리드 다양체인 1차원 평탄 원환면에서, 데이터 분포로부터 표본을 밀어내는 속도장에 의해 리만 기하학적 흐름 일치의 최근 제안된 확장이 전역적으로 최적화되는 분포를 제시한다. 우리는 이러한 실패 모드를 ‘호환성’이라고 부르는 성질로 추적하며, 우도 기반 흐름 일치 목적함수가 호환성이란, 그 인구 최소화자가 데이터와 결합에 의해 유도되는 주변 속도장을 복원할 수 있을 때를 의미한다. 우리는 호환성을 위한 일반적인 조건을 제시하고 이를 기존 방법들에 적용한 뒤, 호환성 하에서 소멸하는 잔여 성분의 관점에서 최악의 오차를 상한으로 규제한다. 다음으로, 기존의 호환 가능한 목적함수들은 컴팩트 다양체에서는 실현 불가능한 속도들에 대해 밀도를 부여한다는 점을 지적한다.

新闻源配图 · arXiv cs.LG
진행 상황 및 관련 보도

사후 학습은 LLM의 가치 선호를 어떻게 형성하는가?

arXiv:2610.33371v1 발표 유형: 신규 초록: 사후 학습 과정에서 대규모 언어 모델(LLM)은 다양한 인구통계학적 집단과 관련된 의견이 불균형적으로 분포된 코퍼스로부터 가치 선호를 학습하게 된다. 이러한 불균형을 증폭시키면 일부 집단의 의견은 더욱더 과소대표될 수 있다. 그러나 의견 혼합이 사후 학습 경로에 따라 가치 선호를 어떻게 형성하는지는 아직 명확히 밝혀지지 않았다. 이 질문에 답하기 위해, 우리는 서로 다른 의견 혼합을 가진 사후 학습 코퍼스와 SFT, DPO, GRPO 기반의 다섯 가지 사후 학습 경로를 활용한 통제된 실험을 수행하였다. 그 결과, 사후 학습이 각각의 경로에서 의견 불균형을 서로 다르게 증폭시킨다는 사실을 확인했다. 일단 가치 선호가 증폭된 후에는, 추가적인 사후 학습으로 이를 제거할 수 있는지 여부는 사후 학습의

진행 상황 및 관련 보도

소셜 월드 모델 평가 격차

arXiv:2610.33014v1 발표 유형: 신규 초록: 협상 어시스턴트는 상대방의 반응을 정확히 예측하지 않더라도 좋은 거래를 성사시킬 수 있다. 우리는 사회적 세계 모델에 대한 평가들이 이러한 예측을 직접적으로 검증하는지 여부를 묻는다. 1999년부터 2026년까지 발표된 113편의 연구를 검토한 결과, 9편의 주요 평가는 시스템이나 실험자가 선택한 행동에 대한 실제 사람의 반응을 측정한다. 이 중 단 2편만이 명시적인 반응 예측과 실제 반응을 비교하고 있다. 해당 연구들의 예측 모델은 행동이 선택될 때 이용 가능한 정보를 사용하며, 평가 대상 반응은 모델 학습 과정에서 제외되었다; 또한 두 연구 모두 개입 조건을 무작위화하였다. 언어 모델 관련 25편의 논문에 대한 별도의 전문 텍스트 검토에서는 이러한 조건을 충족하는 실험이 발견되지 않았다. 나머지 평가들은 현재 상태 추론, 과제 성공 또는 예측 f

진행 상황 및 관련 보도

의료 질문 응답을 위한 섭동 기반 데이터 선택

arXiv:2610.33440v1 발표 유형: 신규 초록: 기존 질문-답변 데이터베이스에서 의료 언어 모델을 적응시키는 과정에서, 간결한 학습 서브셋을 선별하는 것은 중요한 단계입니다. 우리는 최종 블록 표현에 대한 가우시안 섭동으로부터 도출된 두 가지 신호, 즉 예측 변화 빈도와 비전환 마진 수축을 활용한 섭동 기반 데이터 선택 방식을 연구합니다. 공유 엔트로피 사전 필터를 거친 후, 표현 감도 우선순위화(RSP)는 자동 제곱평균 스케일링을 통해 이들 신호를 결합하며, RSP-드롭은 수축 값만을 기준으로 후보를 순위 매깁니다. 두 선택기 모두 선택 과정에서 질문과 답변 옵션만을 사용합니다. 우리는 MedGemma-4B를 이용해 64개, 128개, 256개의 예제를 유지하는 설정 하에서 다섯 개의 의료 QA 데이터셋을 대상으로 이들을 평가합니다. 주요 예산인 128개의 경우,

진행 상황 및 관련 보도