作者用 ML Intern 两天自建六个模型，总花费约 103 美元
作者在 HuggingChat 中开启 ML-intern 模式，用提示词让它完成数据集构建、训练、评测和发布，两天内做出六个模型，总计算花费约 103 美元。
推荐理由：作者用 ML Intern 在两天内从零训练并发布六个模型，给出了提示词写法与逐项算力花费，可迁移到自己的训练流程。
技术方向
部署工程 最新动态
把模型跑起来的工程实践：推理优化、显存与成本、Serving 架构与基础设施选型。
12 条精选近 30 天 10 条共收录 47 条
更新
部署工程的精选
Hugging Face Blog精选AI 评分7676 AWS Machine Learning Blog精选AI 评分7171 Claude Haiku 5.5 上线 AWS，成本较 Haiku 4.5 降低约 75%
AWS 宣布 Claude Haiku 5.5 在 Amazon Bedrock 和 Claude Platform on AWS 上线。
推荐理由：AWS 官方给出 Haiku 5.5 的定位、成本变化与 Bedrock 接入方式，可据此判断它在多智能体分层中的分工。
NVIDIA Blog精选AI 评分7676 NVIDIA 与 Microsoft 发布 RTX Spark 笔记本和 Windows 智能体基础设施
在旧金山举行的 Windows AI and Surface 活动上，NVIDIA 与 Microsoft 宣布为 Windows PC 上的 AI 智能体共同设计软硬件，并公布 RTX Spark 笔记本即日开启预售、10 月 16 日开售，紧凑型台式机 11 月上市。
推荐理由：英伟达与微软把智能体运行所需的系统级容器和本地算力硬件一起端出，读者可据此判断本地智能体落地的软硬件门槛。
GitHub Blog · AI & ML精选AI 评分6262 GitHub 推出基于 ModernBERT 的密钥检测模型，扩展 push protection
GitHub 发布与 Microsoft Applied Sciences 联合微调的 ModernBERT 分类器，把 push protection 扩展到无固定格式的密钥，可在 2 毫秒内评估一批候选密钥，据称能把可拦截的密钥数量提升一倍以上。
推荐理由：GitHub 用九个季度数据说明密钥泄露与人工修复的失衡，并给出把检测前移到 push 环节的模型方案。
Microsoft Research精选AI 评分7171 微软开源 Agent Lightning v1.0：3500 行代码的轻量智能体 RL 框架
微软研究院开源 Agent Lightning v1.0，一个约 3500 行代码的轻量智能体强化学习框架，提出 Harnessed Agentic RL 范式，让部署时使用的同一套 agent harness 直接参与训练，无需在训练框架内重新实现智能体。
推荐理由：微软开源 Agent Lightning v1.0，用约 3500 行代码把真实 harness 直接接入 RL 训练，并给出 6000 样本的编码智能体训练结果。
Google Research精选AI 评分6262 Google 发布基于 TEE 的新一代联邦学习系统，Gboard 已采用
Google 发布新一代联邦学习系统，用可信执行环境（TEE）为数据匿名化提供可验证、可审计的保证，Gboard 已采用该系统上线英语和日语下一词预测模型。新系统把客户端梯度计算移到服务端，训练时间瓶颈从设备可用性转为 TEE 资源，此前每个模型训练需 1-2 个月。
推荐理由：Google 公布基于 TEE 的新一代联邦学习系统设计，并给出 Gboard 已上线的实际部署效果。
NVIDIA Blog精选AI 评分6262 NVIDIA 推出 DGX Spark 64GB 配置，支持双机集群扩展本地 AI
NVIDIA 将于本月通过 Acer、ASUS、Dell、Gigabyte、HP 和 MSI 等厂商推出 64GB 统一内存版 DGX Spark，10 月 23 日开售，起售价 4,999 美元，保留 GB10 Grace Blackwell 超级芯片、DGX OS 与完整 NVIDIA AI 软件栈，支持最高 1000 亿参数模型在设备端运行。
推荐理由：原文给出 64GB 新配置的定价、上市时间与双机集群方式，读者可据此判断本地跑大模型的硬件门槛。
NVIDIA Blog精选AI 评分7878 NVIDIA GPU 如何加速 OpenAI GPT-6 Astra Ultrafast
OpenAI 在 API 以及符合条件的 ChatGPT Work 和 Codex 用户中上线 GPT-6 Astra Ultrafast，该模式运行在 NVIDIA Blackwell GPU 上，token 生成速度最高可达 Astra Standard 模式的 8 倍。
推荐理由：原文给出 Ultrafast 模式相对标准模式的生成速度提升与开放入口，读者可据此判断它对编码智能体循环的实际影响。
Microsoft Research精选AI 评分6262 微软研究院：把物理 AI 推理卸载到边缘或云端可提升机器人性能与续航
微软研究院对移动操作机器人工作负载做了首次系统性测量，发现把物理 AI 推理从机器人端侧 GPU 卸载到边缘或云端 GPU 可提升任务成功率、支持更大模型并延长续航。
推荐理由：微软研究院系统测量了机器人端侧 GPU 推理的瓶颈，并给出可复用的 Kubernetes 卸载工具链，读者可据此判断物理 AI 的部署取舍。
Google DeepMind精选AI 评分6262 Google DeepMind 为 Private AI Compute 引入安全服务端持久记忆
Google Private AI Compute 团队公布为 Private AI Compute 平台引入私有服务端记忆的技术方案，让云端 AI 在跨设备场景下持久保留上下文，同时维持端侧级隐私标准。
推荐理由：Google 公开了 Private AI Compute 的持久化服务端记忆方案，读者可了解云端 AI 如何在保留跨设备上下文的同时维持端侧级隐私。
Mistral AI精选AI 评分7171 Mistral 发布 Agentic Search 检索层，FinanceBench 准确率提升至 86%
Mistral 发布 Agentic Search，一个让模型在多步检索循环中查找、检查和验证信息的检索层，通过 Mistral Search Toolkit 提供，并内置于 Studio 和 Vibe 的 Libraries。
推荐理由：原文给出多步检索循环在 FinanceBench 与 OfficeQA Pro 上的准确率、token 与延迟变化，可据此判断传统 one-shot RAG 的边界。
Berkeley AI Research精选AI 评分6262 从 CUDA 到 MLX：K-Search 如何把内核优化经验带到 Apple Silicon
Berkeley AI Research 与 IBM Research 将 K-Search 进化式内核搜索框架扩展到 MLX，通过结构化 CUDA-to-MLX 翻译层把已有 CUDA 内核经验迁移到 Apple Silicon。
推荐理由：展示了把 CUDA 内核优化经验结构化迁移到 Apple Silicon 的方法，并给出注意力与 Mamba 两类内核的实测对比。