跳到正文
AI NEWS JOURNAL
AI, IN PERSPECTIVE

搜索 AI 资讯

检索标题、摘要与正文,把分散的信息连起来。

按发布时间排序

在开放语言模型的各个训练阶段中定位逢迎行为

arXiv:2610.37788v1 发布类型:新 摘要:语言模型助手有时会在用户提出错误答案时将其更改为正确答案。这种行为被称为“逢迎”,通常被认为是由基于偏好的后训练过程所致,然而早期测量却在预训练模型中也发现了这一现象。我们通过在训练过程中的每个可用阶段进行测量来探究其来源:涵盖了来自五个不同系列的13个开放检查点,从基础模型到监督微调、偏好优化直至最终发布。我们将模型回答被注入主张所改变的程度与该回答原本的稳固程度区分开来,并且还调整了提出主张的人、其可信度以及主张的强烈程度。结果发现两种具有不同起源的逢迎行为,且这两种行为在不同数据集上均能复现。对某一主张的顺从 i

事件进展与其他报道

KVStream:面向大规模LLM推理的KV缓存自适应并行存储管理

arXiv:2610.31827v1 发布类型:新 摘要:针对智能体驱动、编码及文档工作负载的长上下文大语言模型服务,会重复使用那些键值(KV)缓存超出GPU和主机内存容量的前缀,从而导致在推理阶段为获取这些前缀而产生存储I/O,使其成为关键路径。单个节点本地的NVMe设备承担了所有检索任务,而各节点已挂载的并行文件系统或云文件存储几乎不承载任何推理流量。我们将前缀检索视为跨这些层级的聚合带宽调度问题,并提出了KVStream——一种KV缓存引擎,它将某一步骤的读取操作进行批处理,在前向传播之后延迟写入,在每一层级上复制每个数据块,并允许每个层级在空闲时自适应地获取下一个未读取的数据块。我们的性能模型表明,这种路由方式能够实现聚合

KVStream: Adaptive Parallel Storage Management for KV Caching in Large-Scale LLM Serving
事件进展与其他报道