跳到正文
只看一手#安全/对齐
10月8日周四
  2. Hugging Face Daily Papers32

    准确但不谦逊：知识冲突下 LLM 智能体的认知谦逊评估

    研究提出用认知谦逊（EH）评估 LLM 智能体在知识冲突下的表现，通过 Identify、Solve、Escalate（ISE）三个轨迹级行为维度，在受控冲突与多步执行中的自然冲突两种设定下评测四个智能体。结果显示更高任务准确率并不必然对应更强的认知谦逊：部分高准确率配置能识别冲突，却不在错误答案中传达未解决的不确定性。轨迹分析还发现智能体常在执行早期检测到冲突，却在后续步骤中未能维持或解决。

  3. GitHub Blog · AI & ML62

    GitHub 推出基于 ModernBERT 的密钥检测模型，扩展 push protection

    GitHub 发布与 Microsoft Applied Sciences 联合微调的 ModernBERT 分类器，把 push protection 扩展到无固定格式的密钥，可在 2 毫秒内评估一批候选密钥，据称能把可拦截的密钥数量提升一倍以上。

    推荐理由：GitHub 用九个季度数据说明密钥泄露与人工修复的失衡，并给出把检测前移到 push 环节的模型方案。

  4. GitHub Copilot Changelog60

    GitHub 推出专用模型检测泄露密钥

    GitHub 公布专用于密钥检测的微调模型，可读取上下文代码识别凭据，包括没有固定 token 格式的密码，且不生成代码或文本。该模型已自动升级现有 AI 检测密码告警，AI 推送保护进入私有预览，Copilot CLI 与 Copilot App 的 /security-review 命令也将加入密钥分类器检查。

    推荐理由：GitHub 把微调后的密钥检测模型接入告警、推送保护和 Copilot 安全审查，可据此了解各功能的开放范围与计费方式。

10月6日周二
  1. Google Research34

    Google 发布智能体隐私与安全研讨会报告：从上下文完整性视角看开放与新兴问题

    Google 发布《智能体隐私与安全中的开放与新兴问题：上下文视角》研讨会报告，汇集 50 多位学界与业界专家，于 2025 年底在纽约 Google CAPS 研讨会上完成。报告指出智能体因非结构化接口与输入歧义、概率性控制流、自主性与委派三大特性带来新挑战，主张以 Contextual Integrity 理论为基础，构建上下文策略引擎，在系统沙箱、模型推理和用户控制多层协同防护。

10月2日周五
  1. Google Research62

    Google 发布基于 TEE 的新一代联邦学习系统，Gboard 已采用

    Google 发布新一代联邦学习系统，用可信执行环境（TEE）为数据匿名化提供可验证、可审计的保证，Gboard 已采用该系统上线英语和日语下一词预测模型。新系统把客户端梯度计算移到服务端，训练时间瓶颈从设备可用性转为 TEE 资源，此前每个模型训练需 1-2 个月。

    推荐理由：Google 公布基于 TEE 的新一代联邦学习系统设计，并给出 Gboard 已上线的实际部署效果。

9月30日周三
  1. Google DeepMind66

    Google DeepMind 推出 SynthID Bio，为 AI 生成蛋白质嵌入可验证水印

    Google DeepMind 发布 SynthID Bio，将水印技术引入合成生物学，把不可感知的签名直接嵌入生物代码，使水印不仅能在数字模型上验证，也能在合成出的实体蛋白质上验证，同时保持其生物功能。

    推荐理由：SynthID 水印从图像扩展到合成生物，读者可了解其在 DNA 合成筛查与数据库标注上的验证思路。

9月25日周五
  1. GitHub Blog · AI & ML62

    GitHub Security Lab 发布 Fuzzing Taskflow 智能体，自动完成 C/C++ 模糊测试全流程

    GitHub Security Lab 发布 Fuzzing Taskflow，一个面向 C/C++ 项目的自主模糊测试流水线，只需指向一个 GitHub 仓库，它就会识别入口点、分析构建系统、编写 harness、运行 AFL++、读取覆盖率报告并改进 harness，最后对每个崩溃做定级并生成漏洞报告。

    推荐理由：GitHub Security Lab 把模糊测试的 harness 编写、覆盖率追踪与崩溃定级交给 LLM 智能体，读者可据此判断自动化安全测试的边界。

9月24日周四
  1. Google DeepMind62

    Google DeepMind 为 Private AI Compute 引入安全服务端持久记忆

    Google Private AI Compute 团队公布为 Private AI Compute 平台引入私有服务端记忆的技术方案，让云端 AI 在跨设备场景下持久保留上下文，同时维持端侧级隐私标准。

    推荐理由：Google 公开了 Private AI Compute 的持久化服务端记忆方案，读者可了解云端 AI 如何在保留跨设备上下文的同时维持端侧级隐私。

8月5日周三
  1. Zed Blog62

    Zed 为智能体面板加入默认沙箱

    Zed 在 1.14 版本起为智能体面板的终端和 fetch 工具默认启用沙箱，由操作系统强制执行，默认禁止在项目目录外写入、写入 .git 以及发起网络请求，智能体需要时可申请临时提权并说明理由。

    推荐理由：Zed 官方说明智能体沙箱的默认规则、权限升级流程与实现方式，并给出沙箱边界之外的攻击面清单。

7月27日周一
  1. Sourcegraph Blog22

    Sourcegraph 谈合规优先 AI：如何为受监管工程团队证明智能体溯源

    Sourcegraph 提出以"限定范围检索"为智能体留下可审计的溯源记录，即明确列出智能体在改动代码前读过哪些文件及原因。其 Deep Search 会在每次回答中返回显式来源清单，MCP server 则把读文件、关键词搜索、跳转定义等操作拆成可单独观测的事件，并受仓库权限与 scoped token 约束，处理在用户自有实例内完成，仅模型调用对外。

7月13日周一