摘要：大型语言模型（LLMs）普遍存在模式坍缩现象，即其输出分布集中于熟悉的语义模式。当多样性消失时，重复采样便沦为语义上的重复，而非新的发现，导致那些罕见但更优的解决方案难以浮现，从而使模型的自我进化与持续学习难以维系。大多数应对措施仅在推理阶段发挥作用，在不将多样性内化为模型能力的情况下对采样结果进行调整。我们提出了一种训练阶段的框架——PRISM，旨在将多样性内置于模型之中。PRISM融合了：(i) 子模优化的策展机制，为每个提示配以多样且正确的多教师解；以及 (ii) 随机嵌入调制，通过将特殊标记的扰动转化为隐式信号，引导模型采样出各具特色的输出。理论分析证明了该机制的稳定性。在 WritingPrompts 和 BookMIA 数据集上，PRISM 将质量—多样性边界推向更优水平，在所有模型—基准组合中均实现了最佳生成质量，并在两个开放权重模型系列中保持了最强或接近最强的语义多样性。此外，它还在数学与代码基准上提升了采样效率。除推理之外，PRISM 还为强化学习奠定了更坚实的基础，能够维持多样化的策略 rollout，并有效缓解强化学习训练过程中常见的多样性坍缩问题。
提交历史
访问 Paper：
查看PDF
HTML（实验性）
TeX 源代码
附加功能
音频摘要
当前浏览上下文：
参考文献与引用
谷歌学术
语义学者
书签
机构
arXivLabs 是一个框架，允许合作者直接在我们的网站上开发并共享新的 arXiv 功能。
无论是个人还是与 arXivLabs 合作的机构，都已认同并践行我们所倡导的开放、社区、卓越以及用户数据隐私等价值观。arXiv 致力于坚守这些价值，并且只与同样秉持这些价值观的合作伙伴开展合作。
您是否有一个能为 arXiv 社区创造价值的项目构想？欢迎了解更多关于 arXivLabs 的信息。