의료 질문 응답을 위한 섭동 기반 데이터 선택
arXiv:2610.33440v1 발표 유형: 신규 초록: 기존 질문-답변 데이터베이스에서 의료 언어 모델을 적응시키는 과정에서, 간결한 학습 서브셋을 선별하는 것은 중요한 단계입니다. 우리는 최종 블록 표현에 대한 가우시안 섭동으로부터 도출된 두 가지 신호, 즉 예측 변화 빈도와 비전환 마진 수축을 활용한 섭동 기반 데이터 선택 방식을 연구합니다. 공유 엔트로피 사전 필터를 거친 후, 표현 감도 우선순위화(RSP)는 자동 제곱평균 스케일링을 통해 이들 신호를 결합하며, RSP-드롭은 수축 값만을 기준으로 후보를 순위 매깁니다. 두 선택기 모두 선택 과정에서 질문과 답변 옵션만을 사용합니다. 우리는 MedGemma-4B를 이용해 64개, 128개, 256개의 예제를 유지하는 설정 하에서 다섯 개의 의료 QA 데이터셋을 대상으로 이들을 평가합니다. 주요 예산인 128개의 경우,