PRISM：通过隐式随机调制促进大型语言模型的采样多样性
arXiv：2610.32101v1 发布类型：新 摘要：大型语言模型（LLMs）会表现出模式坍缩现象，即其输出分布集中于熟悉的语义模式。当多样性消失时，反复采样便沦为语义上的重复，而非新的发现，导致那些罕见但更优的解决方案难以浮现，从而使模型的自我进化与持续学习难以维持。大多数应对措施仅在推理阶段发挥作用，通过调整采样结果来实现多样性，却并未将多样性真正内化为模型的一项能力。我们提出了 PRISM，一种在训练阶段就将多样性内化的框架。PRISM 结合了：(i) 子模性策展机制，为每个提示配以多样且正确的多教师解；以及 (ii) 随机嵌入调制，将特殊标记的扰动转化为 impl