
一项题为《Spectral Smoothing and Spiking Perturbations Reconfigure Capability Profiles and Selective Task Performance in Large Language Models》的研究于2026年10月24日发布于arXiv(编号2610.30676v1),聚焦变压器模型前馈层中up_proj与down_proj矩阵的奇异值谱结构,探索其对大语言模型下游行为的因果作用。
研究提出两类后置干预:正向扰动(spiking)拉伸奇异值偏离几何平均的程度,放大极大值、压缩极小值;负向扰动(smoothing)则反之。两类操作均保持奇异向量不变,且维持奇异值的几何平均数恒定。
实验覆盖五种开源Llama与Qwen指令微调模型,在能力标注子任务、标准及思维链推理基准、人工评分的真实性、幻觉与安全性任务,以及TRAIT人格探针等多维度评测中评估扰动效果,并将响应变化映射至‘事实知识—语言理解—演绎推理’三维能力基底进行解释。
结果表明能力变化具有结构性而非随机性:大幅正向扰动普遍抑制语言理解与演绎推理表现;适度负向扰动在部分评测网格中可提升事实性或局部任务性能;敏感性显著依赖模型家族、评测模块类型及各层谱不均衡程度。研究将谱扰动定位为一种轻量、可解释的能力组织探测工具。