跳到正文
AI NEWS JOURNAL
AI, IN PERSPECTIVE

搜索 AI 资讯

检索标题、摘要与正文,把分散的信息连起来。

按发布时间排序

TaxoSAE:通过分类逻辑重新思考稀疏自编码器

arXiv:2610.31894v1 发布类型:新 摘要:近期的稀疏自编码器(SAE)能够将大型语言模型(LLM)的表示分解为可解释的特征,从而实现对编码知识的精确读取与控制。然而,现有的SAE将每个特征视为独立单元,而现实世界中的知识往往具有层级化的分类结构。因此,这种读取方式无法保证分类学上的一致性,控制也缺乏足够的粒度来明确指定编辑的范围。我们提出了TaxoSAE,该方法在SAE的特征空间中显式地编码了分类学信息,基于“is-a”(超类—子类)关系构建。TaxoSAE通过堆叠一系列SAE来模拟一个分类体系,每一层对应一个分类层级,并引入了一种分类对齐损失,使每个概念在被激活时都能准确对应其所属的分类层级。

事件进展与其他报道

GPT-OSS-20B多语言推理微调实验:SFT实现零基础行为习得,GRPO仅在存在概率头空间时有效提升

AWS团队在Amazon SageMaker HyperPod上对GPT-OSS-20B开展多语言推理微调实验,采用LoRA参数高效微调;SFT将五语种(英/法/德/西/意)推理语言正确率从22%提升至100%,但答案语言正确率仅达62%;GRPO在此基础上进一步提升答案语言正确率至70%,且未损害推理语言表现,但收益因语言而异(如西班牙语+30个百分点,意大利语-20个百分点);实验明确指出GRPO无法从零启动新能力,仅能优化已偶发的行为。

事件进展与其他报道