PRISM：通过隐式随机调制促进大型语言模型的采样多样性

arXiv:2610.32101v1 发布类型：新 摘要：大型语言模型（LLMs）会表现出模式坍缩现象，即其输出分布集中于熟悉的语义模式。当多样性消失时，重复采样便沦为语义上的重复，而非新的发现，导致那些罕见但更优的解决方案难以浮现，从而使模型的自我进化与持续学习难以维持。大多数应对方法仅在推理阶段介入，在不将多样性纳入模型能力的前提下对采样结果进行调整。我们提出 PRISM，一种在训练阶段将多样性内化于模型的框架。PRISM 结合了 (i) 子模态策展机制，为每个提示配以多样且正确的多教师解；以及 (ii) 随机嵌入调制，将特殊标记的扰动转化为 impl