我的收藏提交工具
FOXAI SEARCH

全站搜索

新闻报道 286

大型语言模型的分布对齐及其泛化特性

arXiv:2610.31687v1 发布类型:新 提要:大型语言模型正越来越多地被用于模拟和探究人类行为,例如开展问卷调查。对于这类应用,一个关键特性是输出需满足分布对齐:即其输出分布应与某一参考(在本例中为人类)分布相一致。实现分布对齐的一个障碍在于如何从小规模训练数据中进行泛化。本文研究了:(1) 如何使大型语言模型实现分布对齐;以及 (2) 实现分布对齐的大型语言模型在面对未见样本以及不相关主题与任务时的泛化能力。通过两个大规模基准测试,我们发现大型语言模型确实能够实现分布对齐,并且能够在同一领域的未见问题上实现泛化。而跨主题的泛化则取决于各主题之间的关联性(例如…

arXiv cs.CL

PaperFormalizer:在精益框架下实现研究论文的作者参与式自动形式化

arXiv:2610.31810v1 发布类型:新 基本摘要:即使经过仔细校对的论文,其证明或所作假设中也可能存在细微漏洞。我们提出了 PaperFormalizer,一个基于 Lean 的智能体驱动流水线,帮助作者发现并弥补自身论文中的此类漏洞,并将每篇论文转化为经 Lean 验证的版本。PaperFormalizer 从 LaTeX 源文件入手,将其转换为陈述的依赖关系图,逐条审核自然语言表述的忠实性、歧义性和正确性,随后在 Lean 中对这些陈述进行形式化并加以证明,同时参考 Mathlib、可选的领域库以及作者个人的工具包。只有作者最清楚某条陈述的真实意图,以及如何最佳地填补某一结论中的形式化缺口。因此,该流水线会在必要时暂停,并向作者提出相关问题。

arXiv cs.AI

LazyFlash:用于加速长上下文微调的前向密集、后向稀疏注意力机制

arXiv:2610.31911v1 发布类型:新 摘要:随着大型语言模型(LLMs)处理的序列长度不断增长,注意力机制已成为主要的计算瓶颈。稀疏注意力大多面向推理阶段,但许多方法在训练时仍采用密集模式,或无法支持稀疏训练;此外,这些方法额外增加的复杂性使得稀疏性难以转化为实际的运行时间加速,因此在实践中密集注意力仍然被广泛使用。本文提出了 LazyFlash,一种前向密集、后向稀疏的注意力机制,其核心基于这样一个观察:注意力机制的训练过程主要由反向传播阶段主导。LazyFlash 使前向传播保持完全密集,因此训练得到的模型仍然是标准的密集模型,现有系统(如 vLLM)无需任何修改即可直接服务。对于反向传播阶段,LazyFlash 提出了一种梯度-a

arXiv cs.CL

b11877

vulkan: Add a larger tile size for conv3d (coopmat2 only) (#29920) * vulkan: Add a larger tile size for conv3d (coopmat2 only) This adds a larger tile size, in practice it is only for coopmat2 where we don't need shared memory to store the output (would use more than 64KB). Add some additional representative backend tests. At least, this is what codex came up with from looking at sd.cpp Wan VAE. * only apply large tile size for newer driver versions **Website:** - **Attestations:** - **macOS/iOS:** - [macOS Apple Silicon (arm64)](https://github.com/ggml-org/llama.cpp/releases/download/b11877/llama-b11877-bin-macos-arm64.tar.gz) - macOS Apple Silicon (arm64, KleidiAI enabled) [DISABLED](https://github.com/ggml-org/llama.cpp/pull/23780) - [macOS Intel (x64)](https://github.com/ggml-org/llama

翻译服务暂未运行,当前显示原文。
llama.cpp 发布

Introducing Kimi K3.1 Pro

Introducing Kimi K3.1 Pro Kimi K3.1 Pro landed on the Kimi API today - it's not yet open weights, but Moonshot promise "Full model weights will be released by Nov 4, 2026". They're also offering a "Highspeed" version that's 2-3x faster, at twice the price (except for input token cache hits, which are priced the same). The US dollar pricing is $2.00/million tokens for input and $10/million for output - the same as GPT-6.1 Sol and half the price of Claude Opus 5.5. Moonshot's own benchmarks show Kimi as approximately level with Opus 5.5 and GPT-6 Astra - beating them on a few benchmarks, coming close on others. Artificial Analysis scored Kimi at 55 - ahead of Claude Fable 5.1, GPT-6 Astra, and Gemini 4 Argon (all at 53) and behind only Claude Opus 5.5 (58). This is the first time a (soon-to-

翻译服务暂未运行,当前显示原文。
西蒙·威利森

IBM发布Granite时序集成预测模型:四模型零微调组合,提供稳健默认预测方案

IBM Research推出开源的Granite Timeseries Ensemble(v1),集成PatchTST-FM-r1/r2、FlowState与Tiny Time Mixers四类预训练架构,支持零微调下的概率性集成预测;默认采用等权概率池化(Probabilistic Ensemble),亦提供基于四分位距自适应加权(IQR Ensemble);在GIFT-Eval基准(截至2026-10-20快照)上,其点预测误差(MASE=0.683)略优于最佳单模型,整体鲁棒性显著提升。

Hugging Face 官方博客

i14发布Laplace 3B线性注意力模型:基于AWS Trainium2与原生PyTorch实现固定状态内存推理

i14推出30.28亿参数的Laplace 3B模型,采用门控线性注意力(GLA)替代Softmax注意力,其推理时每序列递归状态恒为29.5 MB,与上下文长度无关;该模型在单台AWS trn2.48xlarge(16颗Trainium2芯片)上完成训练与服务验证,训练吞吐达12万token/秒,服务吞吐11544 output token/秒(1280并发序列),所有性能数据均为i14与AWS GenAIIC团队内部实测结果。

AWS Machine Learning Blog