LLM 정렬을 위한 리스트와이즈 선호도의 랭크 인식 차분적 개인 정보 보호 공개

arXiv:2610.37682v1 발표 유형: 신규

요약: 리스트 단위 선호 피드백은 쌍대 비교보다 대규모 언어 모델(LLMs)의 정렬을 위한 더 풍부한 감독 정보를 제공하지만, 전체 순위는 사용자의 선호를 더욱 민감하게 드러낸다. 기존의 개인정보 보호형 정렬 방법은 주로 쌍대 피드백에 초점을 맞추고 있는 반면, 로컬 차분 프라이버시(LDP) 하에서의 리스트 단위 정렬은 아직 미탐구 상태이다. LDP를 이러한 리스트 단위 영역으로 확장하는 데에는 중대한 과제가 따른다: 전체 순위 공간의 높은 민감성으로 인해 과도한 노이즈가 발생하여, 리스트 단위 감독의 이점이 무력화될 수 있기 때문이다. 이 문제를 해결하기 위해 우리는 하위 단계 학습에서 감독의 세분화 정도와 프라이버시 노이즈 간의 상호작용을 분석하고, 하위 단계 정렬에 적합한 저민감성 세분화 수준으로 리스트 단위 선호 데이터를 프라이버시화하는 순위 인식 지수 메커니즘을 도입한다. 이 메커니즘은 순위 정보를 활용하여 고정 크기의 이진 파티션을 샘플링함으로써, 랜덤화 응답(RR) 방식처럼 모든 항목을 균일하게 변동시키는 대신 경계에 가까운 항목들 주변에 노이즈를 집중시킨다. 하위 단계 LLM 정렬 과제에 대한 실험적 평가 결과, 우리 메커니즘은 동등한 프라이버시 예산 하에서도 기존 LDP 베이스라인을 꾸준히 능가하는 것으로 나타났다. 코드는 https://github.com/tdsai-lab/RAEM.에서 확인할 수 있다.