跳到正文
AI NEWS JOURNAL
AI, IN PERSPECTIVE

搜索 AI 资讯

检索标题、摘要与正文,把分散的信息连起来。

按发布时间排序

深度丨从独占61%企业开源账单到巨头分成,开源模型开始商业化下半场

11 月 5 日,OpenAI 前首席技术官 Mira Murati 创立的 Thinking Machines Lab(TML)交出了第二代模型 Inkling 2 Small。这家成立一年半、正以 400 亿美元投前估值洽谈 50 亿美元融资的硅谷明星实验室,急需用一款足够硬核的新模型向投资人证明自己。评测机构很快给出了“中国以外最高分开源权重模型”的头衔;但当同行翻开...

深度丨从独占61%企业开源账单到巨头分成,开源模型开始商业化下半场

FlatCake:一种用于大语言模型推理的扁平化KV缓存存储架构

arXiv:2610.38355v1 发布类型:新摘要:KV缓存复用能够加速大语言模型的推理,但现有系统将主机DRAM和NVMe SSD视为分层结构,其中DRAM充当中间缓存。然而,实际的大语言模型工作负载打破了这一分层结构的两个前提。首先,双模态复用使DRAM的时间过滤失效,因为工作负载要么由具有较长复用距离的一次性块主导,要么由超过DRAM容量的数GB级智能体会话主导,从而将SSD置于关键的读取路径上。其次,DRAM的暂存与按驱逐顺序布局导致SSD恢复出现瓶颈。为在途前缀保留主机暂存缓冲区会在负载下引发争用,进而中止预取操作;而增量式驱逐则会将会话的块分散到整个SSD上,阻碍大规模顺序读取。我们 p

事件进展与其他报道

前缀键值对的重要性:在循环语言模型中用于自推测解码的RIPE缓存

arXiv:2610.34436v1 发布类型:新 摘要:循环语言模型在每个标记上会运行 $R$ 轮层,因此其键值(KV)缓存为每递归层保存 $R$ 个平面,而自推测解码(先用几轮进行初步推断,再用全部 $R$ 轮验证)会读取所有这些平面。我们发现,前缀键值的影响主要体现在较晚的阶段:在扰动幅度相同的情况下,第 25 至 32 轮的敏感度分别是第 2 至 9 轮的 $e^{15.0}$ 倍(Huginn-0125)和 $e^{12.8}$ 倍(Raven-Llama),且各平面随循环次数呈几何级数逼近最后一个平面,每轮分别达到 0.88 和 0.81。至于是否仅保留最深层的平面即可,这取决于晚期平面的成熟程度:在 Raven 上,仅存储最深层平面与从 bf16 转换为 fp32 的效果几乎无差异;而在 Huginn 上,仅有 1% 的位置就贡献了其误差的 74%。我们将这一发现转化为 RIPE,该方法存储最深层的

事件进展与其他报道

Mac 用户狂喜:Ollama 终于能让 AI 开口说话了,还不用联网

IT之家 10 月 27 日消息,本地运行 AI 模型的开源平台 Ollama 于 10 月 24 日宣布,其 Mac 应用正式支持文本转语音(TTS)生成,Windows 和 Linux 版本也将随后跟进。科技媒体 9to5Mac 认为这是 Ollama 首次加入语音生成能力,让本地 AI 从“能读会写”进一步迈向“能开口说话”。首个支持的语音模型是 Gradium 开发的 Pho...

Mac 用户狂喜:Ollama 终于能让 AI 开口说话了,还不用联网
事件进展与其他报道

面向开放ISA的超级计算:RISC-V、Arm与x86架构在HPC工作负载上的比较研究

arXiv:2610.32632v1 发布类型:新 摘要:RISC‑V 正在成为高性能计算(HPC)领域的候选架构,但其与成熟的 x86 和 Arm 处理器相比的竞争力仍难以评估,因为现有研究采用的平台、工作负载和方法各不相同,且很少考虑能效。我们的工作基于统一的软件栈和评估方法,对当前主流的 HPC RISC‑V、Arm 和 x86 处理器进行了全面评测。我们详细分析了 Sophgo SG2044,并将其与 NVIDIA Grace CPU 超级芯片以及 Intel Xeon Platinum 8480+ 在四项 HPC 基准测试(STREAM、HPL、HPL‑MxP 和 HPCG)以及四款典型应用(iPIC3D、PLUTO、OpenFOAM 和 llama.cpp)上进行了对比。用于本研究的 HPL‑MxP 版本链接至 OpenBLAS,并以此为基础进行构建和测试……

Toward Open ISA Supercomputing: A Comparative Study of RISC-V, Arm, and x86 Architectures on HPC Workloads
事件进展与其他报道

通过边缘端实现大语言模型训练的民主化:挑战、系统与未来之路

arXiv:2610.32215v1 发布类型:新 摘要:现代GPU数据中心日益强大的算力,使少数几家行业巨头得以在海量数据上训练并部署大型语言模型(LLMs)。然而,这些模型及其训练数据的庞大规模,使得集中式开发越来越难以为继,同时也将那些拥有相关私有数据但缺乏同等基础设施的小型机构拒之门外。本文围绕预训练与微调两大范式,梳理了我们在分布式LLM训练方面的立场,涵盖联邦学习、分割学习以及去中心化方法,并评估了它们在异构硬件与连接不稳定等地理分布式环境中的适用性。随后,我们提出了一种{\em 统一}的系统

Democratizing LLM Training with the Edge: Challenges, Systems, and the Road Ahead
事件进展与其他报道

研究揭示大语言模型中语义意义的局部几何结构

一篇于2026年10月24日发布在arXiv的论文(编号2610.30715v1)通过跨语言探针与细化探针,在Gemma 4、Llama 3.2、Qwen 2.5和Pythia四款解码器-only大语言模型上刻画了语义意义在嵌入空间中的局部几何特性。

Meaning Contracts: Local Semantic Geometry in Large Language Models

推荐理由:该研究首次系统刻画LLM中‘同一语义因子’内部的不变性、可变性与细化机制,提出‘局部各向异性邻域’模型,并经人类盲评验证,方法严谨、模型覆盖多样,结论具跨架构一致性。

事件进展与其他报道

FusionEval发布:面向大语言模型融合的新基准测试

2026年10月24日,研究者在arXiv发布论文arXiv:2610.30162v1,提出FusionEval——首个专用于评估大语言模型融合方法的统一基准,覆盖推理链长度、工具调用等薄弱环节,并支持训练型与免训练型融合方法对比。

FusionEval: Benchmarking Model Fusion for Large Language Models

推荐理由:该基准填补了现有评测对长链推理与工具使用覆盖不足的空白,明确区分平均性能与最差能力保留,提供可复现的专家池(基于Qwen3/Llama)、多维指标(含GPU内存与运行时)及开源代码,具强实践指导性。

事件进展与其他报道

研究通过奇异值谱干预调控大语言模型能力分布:Llama与Qwen模型实证分析

一项发表于2026年10月24日arXiv(编号2610.30676v1)的AI研究,对五种开源Llama和Qwen指令微调模型实施后置奇异值谱平滑与尖峰扰动,发现该轻量干预可系统性重塑模型在事实知识、语言理解与演绎推理三类能力上的表现权衡。

Spectral Smoothing and Spiking Perturbations Reconfigure Capability Profiles and Selective Task Performance in Large Language Models

推荐理由:该论文首次在多模型、多任务框架下实证验证了变压器前馈层奇异值谱结构对下游能力的因果影响,揭示了能力配置的结构性敏感规律,为模型能力解耦与可控编辑提供了新路径;所有结论均基于公开模型与标准评测,方法透明、评估维度全面。

事件进展与其他报道