Ollama v0.40.2 发布:旧模型后台自动升级至 llama.cpp
Ollama v0.40.2 让旧版本下载的模型在首次运行时后台自动升级,以在 llama.cpp 上获得更好性能与兼容性,并保留原始副本作为备份以便安全降级。该版本还修复了 ollama list 对已升级模型重复显示的问题,ollama launch claude 现使用模型完整上下文长度。备份模型将在未来版本自动清除。
Ollama v0.40.2 让旧版本下载的模型在首次运行时后台自动升级,以在 llama.cpp 上获得更好性能与兼容性,并保留原始副本作为备份以便安全降级。该版本还修复了 ollama list 对已升级模型重复显示的问题,ollama launch claude 现使用模型完整上下文长度。备份模型将在未来版本自动清除。
vLLM 发布 vllm-proto 0.5.0,该 tag 由提交者签名并通过验证。此次发布附带 2 个资源文件,版本号从 proto-v0.5.0 正式定为 vllm-proto 0.5.0。
llama.cpp 发布 b11515 版本,为 SYCL 后端加入 Q5_K 重排布局的 MMVQ 与融合 GLU 支持。该版本同步更新 macOS、Linux、Windows、Android 及 openEuler 等多平台构建产物,覆盖 CUDA 12/13、ROCm 10.0、Vulkan、OpenVINO、SYCL FP32/FP16 等后端。
Cornerstone OnDemand 基于 Amazon Bedrock 和 Strands Agents 构建多智能体系统 Orion AI,将数据库诊断时间从 45 分钟降至 10 分钟,减少 78%。该系统还把手动生命周期步骤从 10 步以上压缩为 1 次交互(减少 70%),并将冗余告警中位数削减 65%。三人团队用六个月完成交付。
NVIDIA 开发者正用 GPT-6 Astra、Claude Fable 5 等前沿 AI 模型配合 Omniverse 库,通过自然语言指令构建仿真应用。
llama.cpp 发布 b11514 版本,修复了 Musa FWHT 问题(#30167)。该版本继续提供覆盖 macOS、Linux、Windows、Android 及 openEuler 的多平台构建,支持 CUDA 12/13、ROCm 10.0、Vulkan、SYCL、OpenVINO 等后端,其中 macOS Intel 与 openEuler 构建处于 DISABLED 状态。
Claude Code v2.1.295 为 command 和 HTTP hooks 新增 onFailure: "block",使无法启动、超时或异常退出的 hook 直接阻断操作;同时加入 Program Status Protocol(OSC 7501)支持,终端可显示 Claude Code 正在工作、等待用户还是已完成。
TRL v1.15.0 引入默认开启的融合 LM head,用 Triton kernel 分块投影隐藏状态、直接归约出 per-token log-probs 和熵,不再构建 [batch, seq, vocab] logits 张量。
llama.cpp 发布 b11513,为 CUDA 后端改进 top-k 算法选择:按形状在 bitonic、radix select 与 DeviceTopK/CUB argsort 之间切换,阈值可在构建时覆盖。
OpenAI Codex 发布 0.162.0,在启用 worktree 功能后,可从受信任的本地项目创建和列出托管 Git worktree,并支持在智能体 Command Center 中用 p 键置顶任务。
Incarna 借助 Amazon Bedrock AgentCore payments,让智能体通过 x402 按次向 BlockRun 付费购买模型推理,将接入 x402 支付支持的工作量从数月缩短到数天并投入生产。
Claude Agent SDK 发布 v0.2.165,内置 Claude CLI 升级至 2.1.294,可通过 pip install claude-agent-sdk==0.2.165 安装。该版本还新增 CI 告警,当发布被阻塞或失败时会通知 Slack。
llama.cpp 发布 b11512,修复 DFlash 输出头共享问题,改为从 GGUF metadata 读取绑定输出权重,并共享绑定词嵌入 metadata,同时移除 DFlash 嵌入头回退逻辑。相关改动由 Codex 协助完成。
llama.cpp 发布 b11511 版本,修复了 CUDA 后端中 MMQ 的越界读取(out-of-bounds reads)问题(#29953)。该版本继续提供覆盖 macOS、Linux、Windows、Android 及 openEuler 的多平台构建,包括 CUDA 12.8/13.4、ROCm 10.0、Vulkan、SYCL、OpenVINO 等后端。
llama.cpp 发布 b11510,CUDA 后端新增循环 PAD kernel,可处理超过 65535 行或切片的场景。该版本同步更新 macOS/iOS、Linux、Android、Windows 及 openEuler 等多平台构建,涵盖 CUDA 12.8/13.4、ROCm 10.0、Vulkan、SYCL、OpenVINO 等后端。
Amazon SageMaker HyperPod 多租户参考架构通过 AWS IAM Identity Center 统一认证、按团队划分 SageMaker AI 域、Kubernetes 命名空间隔离工作负载,并用 HyperPod Task Governance 实现算力配额与调度优先级管理。
Unsloth 发布 v0.1.905-beta,可用 QLoRA 把任意文本或视觉 LLM 训练成 Jev 风格决策模型,决策准确率从 30% 提升到 80%。
推荐理由:Unsloth 把决策模型训练、测试、导出到部署串成一条链路,并给出准确率从 30% 到 80% 的对照。
Ollama v0.40.2-rc0 在列表输出中隐藏了重复与降级保护条目。加载需要 llama.cpp 补丁集的旧版 GGUF 时,Ollama 会在磁盘上做惰性转换,并临时保留新旧两份 GGUF、创建影子 v1 manifest 标签,以防降级后的服务器删除新 blob。这些旧副本将在未来版本中移除以回收磁盘空间。
llama.cpp 发布 b11509,修复 CUDA 后端 CCCL 版本守卫在 4.x 上误判的问题:旧逻辑分别比较主次版本号,导致 CCCL 4.x 下 STRIDED_ITERATOR_AVAILABLE 未定义,argsort 静默回退到 init_offsets 路径,仅损失性能而不报错。
llama.cpp 发布 b11507 版本,新增 MoE 缓存跨多 GPU 支持(#30112)。该版本继续提供 macOS、Linux、Windows、Android 及 openEuler 等多平台构建,覆盖 CUDA 12/13、ROCm 10.0、Vulkan、SYCL、OpenVINO 等后端。
《Gears of War: E-Day》已于 10 月 6 日全球发售后上线 GeForce NOW,Ultimate 会员可以 GeForce RTX 5080 级性能云端游玩,并支持 NVIDIA DLSS 和 NVIDIA Reflex。
JetBrains 发布 Mellum2.1,这是其 6 月开源的 12B MoE 模型的新版本,架构不变,仍为 2.5B 激活参数、Apache 2.0 许可。
推荐理由:JetBrains 开源编码智能体模型 Mellum2.1,读者可了解其 RL 后训练路线与自托管部署方式。
LegalOn 将 Codex 每日预估成本降低 65%,同时保持开发速度。其做法是按任务匹配 Astra、Sol 和 Luna,并对预算进行策略性管理。
Cline Desktop v0.0.45 修复了自 0.0.38 起 SSH 环境连接报 SyntaxError 的问题,并新增 Claude Haiku 5.5 模型。Google Vertex AI、GitHub Copilot 等多个提供商的默认模型改为 Claude Haiku 5.5,同时修复了 GPT-6 Astra、Claude Opus 5.5 等模型关闭推理时的 400 错误。
Cline CLI v3.0.70 修复了在 GPT-6 Astra、GPT-6.1 Sol、Claude Fable 5 和 Claude Opus 5.5 上关闭推理时生成 commit message 和任务报 400 错误的问题,并解决了 MCP server 或 hook 退出后约 3 秒即退出的缺陷。
Cline SDK v0.0.92 将 AI SDK 统一到 ai 7.0.120 版本线,所有 @ai-sdk/* 包统一使用 @ai-sdk/provider-utils 5.0.50。
Unsloth 发布 v0.1.904-beta,支持用 QLoRA 将任意文本或视觉 LLM 训练成 Jev 风格决策模型,决策准确率从 30% 提升到 80%,并可在 Unsloth 内完成训练、测试、导出与部署。
Ollama 发布 v0.40.1,新增代理云端用量与余额 API,并移除 CLI 引导中的账户步骤。该版本修复了 Windows 上 llama 读取超过 2GiB 的问题,同时避免 Windows 上的符号链接,并清理了 README 中的失效链接。
Google AI Edge 团队以 Apache 2.0 协议开源端侧 GPU 计算引擎 ML Drift,它抽象 OpenGL ES、OpenCL、Metal 和 WebGPU,作为 LiteRT 的核心 GPU 加速引擎,也可独立使用。
推荐理由:Google 开源端侧 GPU 推理引擎 ML Drift,并给出 Chrome、YouTube Shorts、Adobe 等迁移后的实测提速数据。
Google 发布 AQuA(Ambient Quality Agent),一个在 Google Cloud 项目内旁路运行的质量智能体,按计划、部署后或按需扫描 Cloud Trace、Cloud Logging 或 BigQuery 中的生产轨迹,经采样、评审、聚类、验证、跟踪五阶段流水线输出可验证的故障洞察。
推荐理由:原文给出 AQuA 的五阶段流水线、成本数据和一次真实多智能体排查案例,可据此判断生产环境智能体质量监控的可行做法。
作者在 HuggingChat 中开启 ML-intern 模式,用提示词让它完成数据集构建、训练、评测和发布,两天内做出六个模型,总计算花费约 103 美元。
推荐理由:作者用 ML Intern 在两天内从零训练并发布六个模型,给出了提示词写法与逐项算力花费,可迁移到自己的训练流程。
Ollama 发布 v0.40.1-rc0,该版本移除了此前携带的 metal residency 补丁,因为相关改动已进入上游(#18854)。
Anthropic 最新的轻量模型 Claude Haiku 5.5 已在 GitHub Copilot 正式可用,面向 subagents、快速编辑和终端任务等高频场景。
推荐理由:读者可以了解 Claude Haiku 5.5 在 GitHub Copilot 中的可用范围与计费方式,以及它在编码任务上的初步表现。
AWS 宣布 Claude Haiku 5.5 在 Amazon Bedrock 和 Claude Platform on AWS 上线。
推荐理由:AWS 官方给出 Haiku 5.5 的定位、成本变化与 Bedrock 接入方式,可据此判断它在多智能体分层中的分工。
在旧金山举行的 Windows AI and Surface 活动上,NVIDIA 与 Microsoft 宣布为 Windows PC 上的 AI 智能体共同设计软硬件,并公布 RTX Spark 笔记本即日开启预售、10 月 16 日开售,紧凑型台式机 11 月上市。
推荐理由:英伟达与微软把智能体运行所需的系统级容器和本地算力硬件一起端出,读者可据此判断本地智能体落地的软硬件门槛。
Amazon Quick 与 Amazon Bedrock Knowledge Bases 在原有预检索 ACL 过滤之上新增实时 ACL 校验,在查询时直接向权威数据源核实权限,避免依赖可能过期或映射错误的 ACL 数据。
Claude Code v2.1.293 将 Claude Haiku 5.5(claude-haiku-5-5)设为 Anthropic API 上的默认 Haiku 模型,支持 1M 上下文,定价为每 Mtok $0.10/$0.50,超过 100K 的提示词为 $0.50/$2.50。
GitHub 发布与 Microsoft Applied Sciences 联合微调的 ModernBERT 分类器,把 push protection 扩展到无固定格式的密钥,可在 2 毫秒内评估一批候选密钥,据称能把可拦截的密钥数量提升一倍以上。
推荐理由:GitHub 用九个季度数据说明密钥泄露与人工修复的失衡,并给出把检测前移到 push 环节的模型方案。
GitHub 公布专用于密钥检测的微调模型,可读取上下文代码识别凭据,包括没有固定 token 格式的密码,且不生成代码或文本。该模型已自动升级现有 AI 检测密码告警,AI 推送保护进入私有预览,Copilot CLI 与 Copilot App 的 /security-review 命令也将加入密钥分类器检查。
推荐理由:GitHub 把微调后的密钥检测模型接入告警、推送保护和 Copilot 安全审查,可据此了解各功能的开放范围与计费方式。
微软研究院开源 Agent Lightning v1.0,一个约 3500 行代码的轻量智能体强化学习框架,提出 Harnessed Agentic RL 范式,让部署时使用的同一套 agent harness 直接参与训练,无需在训练框架内重新实现智能体。
推荐理由:微软开源 Agent Lightning v1.0,用约 3500 行代码把真实 harness 直接接入 RL 训练,并给出 6000 样本的编码智能体训练结果。