跳到正文

技术方向

微调与部署 最新动态

把模型训好、跑起来、跑得便宜:LLaMA-Factory、Unsloth、Axolotl、TRL、PEFT 的微调方法,DeepSpeed 的训练与并行,vLLM、SGLang、llama.cpp、Ollama、TensorRT-LLM、LMDeploy 的推理与部署,以及量化、显存与成本优化。

55 条精选近 30 天 42 条共收录 272 条

更新

精选归档 · 第 2 页

10月7日周三第 21–40 条
  1. Ollama Releases62

    Ollama v0.40.0 发布:Apple Silicon 上模型默认改用 MLX 运行

    Ollama 发布 v0.40.0,在 Apple Silicon 设备上,MLX 运行时支持的模型架构将自动改用 MLX 运行。此次支持的模型包括 qwen3.8、gemma4、qwen3.6 和 qwen3.5,决策模型 Nimble、tev1、clef、clef-flash 也已上线 MLX,嵌入模型 embeddinggemma-2 同样获得 MLX 支持。

    推荐理由:Ollama 在 Apple Silicon 上默认切换到 MLX 运行时,读者可据此了解本地部署的默认行为变化与已支持模型范围。

  2. Unsloth Releases60

    Unsloth 发布 v0.1.903-beta:内置浏览器、EmbeddingGemma 2 与语音克隆

    Unsloth 发布 v0.1.903-beta,在聊天旁加入内置浏览器面板,文件、网页和模型生成的 HTML 都以标签页打开,并支持对页面内容提问。该版本同时支持 Google DeepMind 的多模态嵌入模型 EmbeddingGemma 2,提供 740M 参数版本(纯文本 270M)、100+ 语言和 8K 上下文窗口,代码任务比上一代提升约 14%。

    推荐理由:Unsloth 一次更新同时加入内置浏览器、EmbeddingGemma 2 支持与语音克隆页面,可据此判断本地微调工具链的边界扩展。

10月6日周二
  1. Cursor Changelog62

    Cursor 推出本地智能体远程控制功能

    Cursor 上线 Remote Control,用户可在 Cursor iOS app 中查看并回复运行在自己电脑上的本地智能体。该功能默认对除 Enterprise 组织外的所有用户开启,电脑需保持开机联网,可在桌面设置中开启 Keep this computer awake 防止休眠。

    推荐理由:官方说明远程控制本地智能体的开启方式与限制,可据此判断移动端接管本地编码流程的可行性。

  2. Google Developers Blog76

    Google DeepMind 发布端侧多模态嵌入模型 EmbeddingGemma 2

    Google DeepMind 发布开放权重多模态嵌入模型 EmbeddingGemma 2,可将文本、图像、视频帧和音频映射到统一向量空间,参数量 740M,文本权重最低约 191MB 内存,完整多模态模型在 Google Pixel 11 Pro 上约 567MB。

    推荐理由:EmbeddingGemma 2 把文本、图像、视频帧和音频映射到同一向量空间,并给出端侧内存与延迟数据,可据此判断本地多模态检索的落地边界。

10月2日周五
  1. Hugging Face Blog62

    Ai2 开源科学报告生成模型 AstaBrief 8B

    Ai2 开源 AstaBrief 8B,一个把研究问题和检索到的文献片段转成带引用报告的小模型,基于 Qwen3-8B 训练,现已作为 Asta 的 Fast 模式上线,并同步开放模型权重和训练数据。

    推荐理由:原文给出了从 Qwen3-8B 出发的 SFT 加 DPO 训练配方与数据过滤经验,可迁移到其他垂直领域小模型。

  2. Google Research62

    Google 发布基于 TEE 的新一代联邦学习系统,Gboard 已采用

    Google 发布新一代联邦学习系统,用可信执行环境(TEE)为数据匿名化提供可验证、可审计的保证,Gboard 已采用该系统上线英语和日语下一词预测模型。新系统把客户端梯度计算移到服务端,训练时间瓶颈从设备可用性转为 TEE 资源,此前每个模型训练需 1-2 个月。

    推荐理由:Google 公布基于 TEE 的新一代联邦学习系统设计,并给出 Gboard 已上线的实际部署效果。

  3. NVIDIA Blog62

    NVIDIA 推出 DGX Spark 64GB 配置,支持双机集群扩展本地 AI

    NVIDIA 将于本月通过 Acer、ASUS、Dell、Gigabyte、HP 和 MSI 等厂商推出 64GB 统一内存版 DGX Spark,10 月 23 日开售,起售价 4,999 美元,保留 GB10 Grace Blackwell 超级芯片、DGX OS 与完整 NVIDIA AI 软件栈,支持最高 1000 亿参数模型在设备端运行。

    推荐理由:原文给出 64GB 新配置的定价、上市时间与双机集群方式,读者可据此判断本地跑大模型的硬件门槛。

  4. NVIDIA Blog78

    NVIDIA GPU 如何加速 OpenAI GPT-6 Astra Ultrafast

    OpenAI 在 API 以及符合条件的 ChatGPT Work 和 Codex 用户中上线 GPT-6 Astra Ultrafast,该模式运行在 NVIDIA Blackwell GPU 上,token 生成速度最高可达 Astra Standard 模式的 8 倍。

    推荐理由:原文给出 Ultrafast 模式相对标准模式的生成速度提升与开放入口,读者可据此判断它对编码智能体循环的实际影响。

10月1日周四
9月30日周三
  1. Google DeepMind66

    Google DeepMind 推出 SynthID Bio,为 AI 生成蛋白质嵌入可验证水印

    Google DeepMind 发布 SynthID Bio,将水印技术引入合成生物学,把不可感知的签名直接嵌入生物代码,使水印不仅能在数字模型上验证,也能在合成出的实体蛋白质上验证,同时保持其生物功能。

    推荐理由:SynthID 水印从图像扩展到合成生物,读者可了解其在 DNA 合成筛查与数据库标注上的验证思路。

9月29日周二
  1. Microsoft Research62

    微软研究院发布 Quine:面向生物学复杂性的 AI 研究系统

    微软研究院发布 Quine,一个面向生物学复杂性的 AI 研究系统,由跨序列、结构、功能、细胞状态和成像等多模态数据训练的生物世界模型,以及连接模型、科学工具、文献与科研人员的交互式 harness 组成。

    推荐理由:微软研究院公开 Quine 的多模态生物世界模型与实验闭环,并给出胰腺癌化合物筛选的湿实验验证结果。

9月24日周四
  1. Google Developers Blog66

    Google Cloud API Gateway 支持将 REST API 转为 MCP 工具

    Google Cloud API Gateway 进入 Public Preview,可作为远程 MCP 服务器,在已有 OpenAPI 3.0.x 或 3.1.x 规范上通过 x-google-api-management.mcp 注解,把现有 REST 操作暴露为智能体可调用的 MCP 工具,无需另建服务器。

    推荐理由:原文给出把现有 REST API 直接暴露为 MCP 工具的具体配置步骤与限制,可据此评估改造成本。

  2. Microsoft Research62

    微软研究院:把物理 AI 推理卸载到边缘或云端可提升机器人性能与续航

    微软研究院对移动操作机器人工作负载做了首次系统性测量,发现把物理 AI 推理从机器人端侧 GPU 卸载到边缘或云端 GPU 可提升任务成功率、支持更大模型并延长续航。

    推荐理由:微软研究院系统测量了机器人端侧 GPU 推理的瓶颈,并给出可复用的 Kubernetes 卸载工具链,读者可据此判断物理 AI 的部署取舍。

  3. Google DeepMind62

    Google DeepMind 为 Private AI Compute 引入安全服务端持久记忆

    Google Private AI Compute 团队公布为 Private AI Compute 平台引入私有服务端记忆的技术方案,让云端 AI 在跨设备场景下持久保留上下文,同时维持端侧级隐私标准。

    推荐理由:Google 公开了 Private AI Compute 的持久化服务端记忆方案,读者可了解云端 AI 如何在保留跨设备上下文的同时维持端侧级隐私。

9月23日周三
  1. Google Developers Blog71

    Antigravity SDK 支持本地 AI 模型,首发适配 Gemma 4 26B A4B

    Google 宣布 Antigravity SDK 支持本地模型与多种执行方式,首发通过 Google AI Edge 的 LiteRT 支持 Gemma 4 26B A4B,可在完全离线状态下提供智能体辅助。

    推荐理由:官方给出本地模型接入 Antigravity SDK 的完整配置与混合编排示例,可据此评估离线智能体工作流的成本与隐私取舍。

9月18日周五
9月16日周三
9月14日周一
  1. Sourcegraph Blog66

    Sourcegraph 推出 Agentic Batch Changes,跨仓库代码变更由智能体编排

    Sourcegraph 发布 Agentic Batch Changes,基于 Batch Changes 与 Deep Search 构建,用户用自然语言描述变更后,智能体在索引代码库中划定范围、制定计划、先在单个仓库试改再逐步铺开,仓库差异时自动适配,CI 失败时继续处理,直到 PR 可供人工审查合并。

    推荐理由:Sourcegraph 把批量代码变更交给智能体编排,并给出按合并结果计费的方式,可观察大规模迁移的落地路径。