본문으로 건너뛰기
AI NEWS JOURNAL
arXiv cs.CLAI NEWS / JOURNAL

ArGuard 공유 작업에서의 AK_QMUL: 아랍어 유해 프롬프트 탐지를 위한 단일 미세조정된 JAIS

arXiv:2610.36360v1 발표 유형: 신규 초록: 우리는 ArGuard-2026의 아랍어 유해 프롬프트 탐지 공유 과제에 대한 AK_QMUL의 두 가지 제출 결과를 소개합니다: 이진 분류 안전/위험 과제(B1)와 일곱 가지 위험 영역 분류 과제(B2). 두 제출 모두 하나의 기본 모델인 JAIS-6.7B를 사용하며, 4비트 QLoRA로 미세조정된 뒤 마지막 토큰 표현을 기반으로 한 선형 분류 헤드를 적용했습니다. B1에서는 언어 등급 {안전, 위험} × {MSA, 기타}로 레이블을 분할하는 4방향 헤드를 학습하고, AraSafe의 MSA 프롬프트를 추가 학습 데이터로 활용한 뒤, 단순 argmax 방식으로 해석하여 안전/위험 점수를 산출했습니다. B2에서는 동일한 기본 모델을 7방향 분류기로 미세조정하고, 다섯 개의 임의 시드에 대해 소프트맥스 출력을 평균화했습니다. 두 제출 모두 해당 트랙에서 1위를 차지했으며, B1에서는 매크로-F1이 0.984, B2에서는 0.790을 기록했습니다. 우리는 보고합니다

번역 서비스가 일시 중지되어 원문을 표시합니다.

arXiv:2610.36360v1 Announce Type: new

Abstract: We present AK_QMUL's submissions to the ArGuard-2026 shared tasks on Arabic harmful-prompt detection: a binary safe/unsafe task (B1) and a seven-way harm-domain task (B2). Both submissions use one backbone -- JAIS-6.7B fine-tuned with 4-bit QLoRA and a linear classification head over its last-token representation. For B1 we train a four-way head that factors the label by dialect register {safe, unsafe} x {MSA, other}, we augment the training fold with MSA prompts from AraSafe, and decode with a plain argmax to score safe/unsafe. For B2 we fine-tune the same backbone as a seven-way classifier and average the softmax outputs of five random seeds. Both submissions ranked first on their track, with macro-F1 0.984 on B1 and 0.790 on B2. We report results by dialect and by class: on B1 the model is accurate across all six dialects (93.6--99.8%) and its predicted unsafe rate tracks the true rate closely; on B2 six of the seven classes reach F1 between 0.73 and 0.98, with the residual error concentrated in the Bully class, which overlaps semantically with harassment and harm-to-others.

자료 출처

원문 읽기 ↗

관련 주제

← 전체 소식 이어 읽기