跳到正文
AI NEWS JOURNAL
arXiv cs.CLAI NEWS / JOURNAL

研究通过奇异值谱干预调控大语言模型能力分布:Llama与Qwen模型实证分析

一项发表于2026年10月24日arXiv(编号2610.30676v1)的AI研究,对五种开源Llama和Qwen指令微调模型实施后置奇异值谱平滑与尖峰扰动,发现该轻量干预可系统性重塑模型在事实知识、语言理解与演绎推理三类能力上的表现权衡。

一项题为《Spectral Smoothing and Spiking Perturbations Reconfigure Capability Profiles and Selective Task Performance in Large Language Models》的研究于2026年10月24日发布于arXiv(编号2610.30676v1),聚焦变压器模型前馈层中up_proj与down_proj矩阵的奇异值谱结构,探索其对大语言模型下游行为的因果作用。

研究提出两类后置干预:正向扰动(spiking)拉伸奇异值偏离几何平均的程度,放大极大值、压缩极小值;负向扰动(smoothing)则反之。两类操作均保持奇异向量不变,且维持奇异值的几何平均数恒定。

实验覆盖五种开源Llama与Qwen指令微调模型,在能力标注子任务、标准及思维链推理基准、人工评分的真实性、幻觉与安全性任务,以及TRAIT人格探针等多维度评测中评估扰动效果,并将响应变化映射至‘事实知识—语言理解—演绎推理’三维能力基底进行解释。

结果表明能力变化具有结构性而非随机性:大幅正向扰动普遍抑制语言理解与演绎推理表现;适度负向扰动在部分评测网格中可提升事实性或局部任务性能;敏感性显著依赖模型家族、评测模块类型及各层谱不均衡程度。研究将谱扰动定位为一种轻量、可解释的能力组织探测工具。

资料来源

arXiv cs.CL

相关主题

← 继续阅读全部动态