基于扰动的数据选择用于医学问答
arXiv:2610.33440v1 发布类型：新 摘要：从现有问答库中适配医学语言模型时，选择一个紧凑的训练子集是至关重要的一步。我们研究了基于扰动的数据选择方法，该方法利用最终层表示的高斯扰动所衍生的两种信号：预测变化频率与非翻转边际收缩。在经过共享熵预过滤后，表示敏感度优先化（RSP）通过自动均方根缩放将这两种信号进行整合，而RSP-Drop则仅依据收缩程度对候选样本进行排序。这两种选择器在筛选过程中仅使用问题和答案选项。我们在MedGemma-4B上，针对五个医学问答数据集，在保留集规模分别为64、128和256个样本的情况下对其进行了评估。在主要预算为128个样本时，