b12207
在 ggml-cuda 的 SSM_SCAN 内核中,已为 d_state=64 添加了一条新的快速路径,通过消除该状态大小下的 CPU 回退,将 Zamba2-7B-Instruct 的生成吞吐量从 11 tok/s 提升至 15.1 tok/s——约提升 35%。该更改已使用真实的 Zamba2 超参数进行了验证,并保持了正确性;不过,由于一个尚未诊断的问题,仍有 28% 的 scan 调用会回退到 CPU。
检索标题、摘要与正文,把分散的信息连起来。
在 ggml-cuda 的 SSM_SCAN 内核中,已为 d_state=64 添加了一条新的快速路径,通过消除该状态大小下的 CPU 回退,将 Zamba2-7B-Instruct 的生成吞吐量从 11 tok/s 提升至 15.1 tok/s——约提升 35%。该更改已使用真实的 Zamba2 超参数进行了验证,并保持了正确性;不过,由于一个尚未诊断的问题,仍有 28% 的 scan 调用会回退到 CPU。
达里奥·阿莫迪可以说是现在硅谷最「讨人厌」的人,甚至没有之一。 在曾经共事的人眼中,达里奥是个精力旺盛、极其固执的家伙,吵完架后,他有时会一个人躲进办公室的图书室,看 YouTube 视频....
本文事实来自《纽约时报》11 月 5 日的特稿 The Making of Anthropic's C.E.O.(作者 Ryan Mac、Kalley Huang、Cade Metz、Georgia Gee)这个月 Anthropic 即将上市,会是全球最大规模的 IPO 之一。《纽约时报》发了一篇 Dario Amodei 的人物特稿,采访了他二十多位同学、朋友、老师和同事而 Dario 本人,则拒绝了本次采访...
Open WebUI v0.13.2 修复了通过普通 HTTP 加载聊天记录以及编辑评论或 Markdown 文件时出现的问题,解决了“crypto.randomUUID 不是函数”错误,并使侧边聊天权限开关的显示不再依赖于临时聊天设置。
通过 Slack 和 Teams 中的 @GitHub,将对话转化为代码!无需离开对话即可排查错误、创建议题、实施更改并打开拉取请求。最新功能:共同构建与评审……文章《Slack 和 Teams 中的 @GitHub 正式可用,更多功能上线》首发于 GitHub 博客。
我只想回应自己的感受,自己的记忆,只是因为那时候我满腔少年心气,对一切都充满好奇,对未来充满憧憬。查看全文
数据库不但要存,还要能“懂”。
Shanghai’s Fourier Intelligence built a custom humanoid for Meta’s internal research in months. The company already has a rehab business, modest humanoid shipments, and a disclosed pre-money valuation of about 8 billion yuan. A marquee partner tests its engineering—it does not yet prove the equity story.
就在刚刚,OpenAI亲手放出了一个「超级AI黑客」!全新模型GPT-6 Cyber,今天正式登场。那个刷爆全网、单枪匹马把Linux内核挖穿、一口气端掉948个提权漏洞的「神秘杀器」,就是它。在OpenAI内部安全评测中,它触发了网络安全最高警戒等级「Critical(关键级)」。而它只花了一周、烧掉121万美元Token,就一口气端掉了948个。短短7天,干完了全人类安全专家整整50年的工作量!由于破坏力实在太猛,OpenAI这次根本不敢向公众放开!现阶段,它只对通过严格审查的「破晓红(Daybreak Red)」安全团队定向解锁。没有拿到任何提示的GPT-6 Cyber,一进去便开始自己...
OpenAI CEO山姆·奥特曼。图片经由AI处理文丨周小燕编辑丨徐青阳AI寻找软件漏洞的能力又向前迈进一步。美国当地时间11月5日,OpenAI发布网络安全专用模型GPT-6 Cyber。这是基于GPT-6 Astra开发的攻防特化版本,重点提升漏洞发现、漏洞利用和Web渗透测试能力。OpenAI披露,该模型已在Linux内核中开发出948个可用漏洞利用程序...
文章链接:https://github.com/brysonbw/ls-service 评论链接:https://news.ycombinator.com/item?id=50383396 积分:1 # 评论:0
Copilot 使用情况指标 API 现在会显示哪些用户缺少客户端遥测数据,或正在运行的 IDE 或扩展版本低于使用情况指标的最低要求。新的按用户字段出现在…… 该文章“使用情况指标 API 标记遥测和版本差距”最初发表于 GitHub 博客。
爆改硬件。
一位Reddit用户利用AI编程工具Claude Code对NordicTrack Commercial2250跑步机进行系统越狱,成功移除iFIT强制订阅限制,将原封闭的大屏改造成可自由使用Netflix、Crunchyroll等流媒体的界面。改造后实现自定义主屏幕、视频与健身功能并行、启动速度提升至约21秒,但存在仅支持标清画质、恢复出厂设置将清除修改及违反保修条款等风险。
点击查看原文>
AI 记忆存储成本低廉,大厂与第三方服务商争相布局。记忆不等于聊天记录,要区分偏好、会话、任务状态,兼顾检索效率与信息完整。权限、版本、溯源、可迁移能力才是企业付费核心价值。
惟创意与热爱不可辜负#欢迎关注爱范儿官方微信公众号:爱范儿(微信号:ifanr),更多精彩内容第一时间为您奉上。
arXiv:2611.04638v1 公告类型:新 基础摘要:大型语言模型(LLM)可以直接在浏览器中运行,但通常需要先下载数百 MiB 甚至数 GiB 大小的模型文件。同一款 LLM 往往由不同发布者重新打包;这些文件内容高度相似,但字节级差异导致全文件缓存无法复用它们。我们提出了 EvoCache,一种由浏览器管理的 LLM 分发系统。EvoCache 利用由浏览器预先存储且独立于浏览历史的公共缓存锚点,无损重建站点请求的发布者版本。站点仅需指定目标,浏览器则选择锚点并执行重建,整个过程对站点保持透明。对 1,000 个公开仓库的审计发现,100 款最受欢迎的 LLM 中有 61 款由多个发布者提供,且 98.1% 的重叠版本无法通过全文件缓存复用。在 23 对跨发布者模型包组合中,EvoCache 实现了 77.3% 的流量中位数降低,性能优于所有对比方案。在 240 项真实的端到端浏览器实验中,与普通完整下载相比,EvoCache 将网络流量降低了 78.9%,页面就绪时间缩短了 64.2%。对于其他站点留下的缓存数据,EvoCache 还通过为缓存命中和未命中使用相同的返回时间,保护用户的跨站缓存隐私。
arXiv:2611.04683v1 公告类型:新 基础摘要:随机游走是图分析的基础,但在大型动态图上高效执行仍具挑战。现有方法需在采样效率、更新开销和内存消耗之间权衡。为吞吐量优化的采样结构往往带来显著的内存开销和高昂的维护成本,而轻量级方案在高度数顶点或权重分布偏斜时又可能面临较高的采样延迟。这些挑战在异构CPU-GPU平台上尤为突出:主机内存容量充足,但GPU内存限制了可从并行加速中获益的图数据量。我们提出了FenixWalk,一个面向大规模动态图的内存高效随机游走系统,将统一的原地采样与选择性GPU加速相结合。核心上,FenixWalk采用原地Fenwick表示,无需复制边级权重存储即可支持拒绝采样和逆变换采样。该表示使拒绝采样具备期望O(1)的权重查询时间,并支持O(log d)的前缀采样与更新。为高效利用异构硬件,FenixWalk将完整图及其采样结构保留在主机内存,同时将频繁重用的顶点本地采样器有选择地放置在GPU上。通过传输紧凑的游走器状态而非反复迁移图分区,该系统减少了跨设备通信,并有效利用了有限的GPU内存。在大型真实世界图及代表性随机游走工作负载上的实验表明,FenixWalk相较于现有随机游走系统实现了平均2.06倍至400.57倍的加速。
n8n 2.46.5 更新修复了多个错误,包括修正 AI 智能体节点已弃用的代理类型标注、改进节点参数的凭据解析,并支持在表达式中读取命名数组键。新功能包括在迁移报告中默认隐藏已归档的工作流,以及在迁移报告加载时间过长时显示提示信息。