본문으로 건너뛰기
AI NEWS JOURNAL
AI, IN PERSPECTIVE

AI 뉴스 검색

제목, 요약, 본문을 검색해 흩어진 정보를 연결하세요.

발행 시간순

이익을 넘어서: 에이전트 스킬 은퇴를 위한 스킬 내재화 측정

arXiv:2610.32322v1 발표 유형: 신규 초록: LLM 에이전트는 약 10만 개의 항목을 보유하고 다수의 모델에 서비스를 제공하는 공공 허브에서 기술을 검색합니다. 모델이 발전함에 따라, 특정 모델이 내부화한 기술—즉, 해당 모델이 더 이상 필요로 하지 않는 기술—을 식별하여 그 모델에 대해 폐기해야 하지만, 현재까지 내부화 여부는 알려진 신뢰성으로 측정된 바 없습니다. 기존의 규칙들은 기술이 적용된 경우와 적용되지 않은 경우의 실행 결과를 비교하여, 오직 성과 차이만을 근거로 기술을 폐기해 왔습니다. 그러나 이러한 성과 차이는 내부화된 기술일 때도, 또는 모델과 기술 모두가 해당 능력을 제공하지 않을 때—우리가 ‘미개척 상태’라고 부르는 상황—에도 거의 제로에 가깝습니다. 따라서 우리는 대신 해당 기술을 보류하고, 그 기술을 기반으로 합성된 과제에서 모델을 평가하며, 다른 모델이 해당 기술로부터 이익을 얻는 경우에만 높은 무보조 점수를 신뢰합니다. 이는 높은 점수의 거의 절반이 아무런 과제에서도 나오지 않기 때문입니다.

진행 상황 및 관련 보도

용매: 다단계 역합성에 대한 장기적 추론

arXiv:2610.32308v1 발표 유형: 신규 초록: 다단계 역합성은 목표 분자를 연속적인 반응 단계를 거쳐 구매 가능한 빌딩 블록으로 재귀적으로 변환하는 과정을 요구하며, 최근 연구에서는 이 과제를 해결하기 위해 대규모 언어 모델(LLM)의 추론 기법을 활용하기 시작했습니다. LLM 추론 기법은 최근 발전 과정에서 장기적 지평 영역으로 진입했으며, 모델들은 상호 의존적인 여러 단계에 걸쳐 목표를 추구하고 환경과 상호작용하며 피드백에 적응합니다. 이러한 변화는 AI 기반 수학 연구에서의 획기적인 성과들로 입증되듯이, LLM의 능력을 크게 향상시켰습니다. 이러한 최첨단 분야에서 우리는 8B 규모의 LLM인 Solvent를 소개하며, 이 모델은 장기적 지평에서의 추론 능력을 다단계 역합성에도 성공적으로 확장했습니다. Solvent는 두 차례에 걸친 사후 학습 커리큘럼을 통해 반복적인 처리를 병행하는 방법을 학습합니다.

진행 상황 및 관련 보도

연구는 LLM이 생성한 합성 설문조사 응답자 커버리지를 평가하는 새로운 지표 RCG를 제안했다.

이 논문은 2026년 10월 24일 arXiv에 게재되었으며(번호 2610.30900v1), 대규모 언어 모델(LLM)이 생성한 합성 설문 응답자가 실제 인간 응답자를 완전한 응답 프로파일 공간에서 얼마나 잘 포괄하는지를 측정하기 위한 새로운 평가 지표인 ‘응답자 포괄 격차’(RCG)를 제안한다.

Silicon Samples Match the Answers but Not the Respondents

추천 이유:기존 평가 방법은 단일 문항의 정답 분포나 문항 간 상관성에만 주목할 뿐, LLM이 생성한 응답자가 실제 모집단에서 실제로 존재하는 정답 조합을 재현했는지 여부를 식별할 수 없다. RCG는 최초로 전체 응답 프로파일을 기반으로 커버리지 격차를 정량화하였으며, 두 가지 미국 사회조사 데이터를 통해 모든 테스트 대상 LLM에서 유의미한 미커버리지 인구가 존재하고, 이들이 단순한 변동성 표본 추출 기준선 및 가우스 코플라 모델보다 성능이 저조함을 실증적으로 확인했다.

진행 상황 및 관련 보도