llama.cpp b11506:server 在 slot 保存/恢复时保留上下文检查点
llama.cpp 发布 b11506,server 在 slot 保存/恢复时保留上下文检查点,恢复后的 slot 可直接回滚到检查点,无需重新处理整个 prompt。
llama.cpp 发布 b11506,server 在 slot 保存/恢复时保留上下文检查点,恢复后的 slot 可直接回滚到检查点,无需重新处理整个 prompt。
llama.cpp 发布 b11516,修复 Hexagon 后端 IM2COL patch-embed 的 DMA ring 溢出问题。
联想 YOGA Pro 15 RTX Spark 于 10 月 8 日 9:00 开启全网盲约,是全球首批搭载 NVIDIA RTX Spark N1X 超级芯片的本地智能体 AIPC。
微软在旧金山 Tech Week 活动上公布 Surface Laptop Ultra 的规格与价格,两个基础型号分别 2600 美元和 3700 美元起,最高配至 5900 美元。
Google 发布 Mac 应用 Google AI Edge Foresight,对标 AI 会议记录工具 Granola,可完全离线运行。该应用使用端侧 EmbeddingGemma 2 模型(740 million 参数)跨应用记录会议内容,包括线下会议,界面为分屏设计,一侧手写速记、一侧生成 AI 笔记,并支持查看转写文本或与 Gemma 4 驱动的助手对话。
Cal AI 联合创始人 Zach Yadegari 为其 AI 智能体新公司 Persona 完成 1000 万美元融资,由 Vine Ventures 领投。Persona 定位个人 AI 助手,将推出售价 179 美元的可穿戴手环,需按键或甩腕激活,模型运行于云端并加密传输与存储数据。手环预计 12 月上市,目前以 iMessage 免费 beta 形式运营,已积累数千名用户。
AI 与硬件初创公司 Natura 发布 99 美元智能戒指 Interface,按下手指即可让 AI 智能体完成任务、记录想法,无需掏出手机。戒指同时是健康追踪器,可监测心率、HRV、睡眠和活动,并连接 Meta 的 Muse、Instinct、Grok Bot、Claude、ChatGPT 等智能体与应用。
Google 发布实验性笔记应用 Google AI Edge Foresight,可在完全离线状态下转写会议和音频文件。该应用免费,在 macOS 上运行,使用 Google 端侧 EmbeddingGemma 2 模型,可把会议中的速记要点整理成完整笔记,并内置助手回答关于录音内容的问题,还能接入本地文件作为参考。
微软在 Windows 与 Surface 特别活动上联合英伟达发布 RTX Spark 计算平台,这是一块集成 CPU、GPU 和最高 128GB 统一内存的 ARM 架构 SoC,最高提供 1 PFLOP FP4 AI 算力,可本地运行 1250 亿参数模型。
推荐理由:梳理了微软与英伟达联合发布的新架构与硬件细节,可了解本地 Agent 算力路线的具体落地方式。
极客公园「造物 100」第 7 期推荐四款新品:MUZIM L1 桌面数据坞搭载 OpenSoul 文件系统与 Vibe Search,支持 24TB 存储、按语义搜到视频某一帧。
微软在时隔两年的首场线下活动中发布新款 Surface Laptop Ultra,并公布 Windows 11 的一系列改动,同时展示本地 AI 与智能体工作流如何改变个人计算。
Google AI Edge 团队以 Apache 2.0 协议开源端侧 GPU 计算引擎 ML Drift,它抽象 OpenGL ES、OpenCL、Metal 和 WebGPU,作为 LiteRT 的核心 GPU 加速引擎,也可独立使用。
推荐理由:Google 开源端侧 GPU 推理引擎 ML Drift,并给出 Chrome、YouTube Shorts、Adobe 等迁移后的实测提速数据。
在旧金山举行的 Windows AI and Surface 活动上,NVIDIA 与 Microsoft 宣布为 Windows PC 上的 AI 智能体共同设计软硬件,并公布 RTX Spark 笔记本即日开启预售、10 月 16 日开售,紧凑型台式机 11 月上市。
推荐理由:英伟达与微软把智能体运行所需的系统级容器和本地算力硬件一起端出,读者可据此判断本地智能体落地的软硬件门槛。
Liquid AI 发布 d1 决策模型家族的两款开源权重模型 d1-3B 和 d1-omni-600M(实验性)。
推荐理由:Liquid AI 开源两款决策模型,给出端侧延迟与七项基准对比,可判断小模型做结构化决策的可行性。
Google DeepMind 发布 EmbeddingGemma 2,一个基于 Gemma 4 架构、Apache 2.0 许可的开源多模态嵌入模型,可把文本、图像、音频和视频映射到统一嵌入空间。
推荐理由:官方给出 740M 参数、模块化编码器与端侧内存占用,可据此判断本地多模态检索的落地门槛。
华为 Mate 90 Pro Max 于 10 月 1 日随 Mate 90 系列发布,12GB+512GB 起售价 9499 元,典藏版 16GB+512GB 起售价 10999 元。
Cursor 上线 Remote Control,用户可在 Cursor iOS app 中查看并回复运行在自己电脑上的本地智能体。该功能默认对除 Enterprise 组织外的所有用户开启,电脑需保持开机联网,可在桌面设置中开启 Keep this computer awake 防止休眠。
推荐理由:官方说明远程控制本地智能体的开启方式与限制,可据此判断移动端接管本地编码流程的可行性。
Google DeepMind 发布开放权重多模态嵌入模型 EmbeddingGemma 2,可将文本、图像、视频帧和音频映射到统一向量空间,参数量 740M,文本权重最低约 191MB 内存,完整多模态模型在 Google Pixel 11 Pro 上约 567MB。
推荐理由:EmbeddingGemma 2 把文本、图像、视频帧和音频映射到同一向量空间,并给出端侧内存与延迟数据,可据此判断本地多模态检索的落地边界。
NVIDIA 将于本月通过 Acer、ASUS、Dell、Gigabyte、HP 和 MSI 等厂商推出 64GB 统一内存版 DGX Spark,10 月 23 日开售,起售价 4,999 美元,保留 GB10 Grace Blackwell 超级芯片、DGX OS 与完整 NVIDIA AI 软件栈,支持最高 1000 亿参数模型在设备端运行。
推荐理由:原文给出 64GB 新配置的定价、上市时间与双机集群方式,读者可据此判断本地跑大模型的硬件门槛。