跳到正文

技术方向

安全对齐 最新动态

AI 安全与对齐:越狱与防御、模型行为研究、安全评测与治理框架的进展。

7 条精选近 30 天 7 条共收录 31 条

更新

安全对齐的精选

今天10月9日周五第 1–7 条
  1. The Decoder78

    数学家呼吁抵制 OpenAI:AI 生成证明涌入数学领域

    数学界部分人士呼吁抵制 OpenAI,起因是该公司一次性放出 700 多份 AI 生成的数学证明文件。菲尔兹奖得主 Terence Tao 在其博客转发相关声明,并提出数学应进入不再以解题为主要衡量标准的 Math 2.0 时代;复杂性理论家 Scott Aaronson 则称之为 Mathocalypse。

    推荐理由:围绕 OpenAI 一次性放出 700 多份 AI 数学证明,呈现数学界对署名、可验证性与研究生态受损的分歧。

10月8日周四
  1. The Decoder80

    AI 黑客工具疑助单人入侵多家韩国银行

    CrowdStrike 报告称,一名疑似中文使用者于 2026 年 9 月底至 10 月初入侵多家韩国金融机构并窃取大量数据,仅新韩银行就有超过 25000 条含姓名、联系方式、收入和信用额度的记录被窃。

    推荐理由:CrowdStrike 披露的攻击案例显示,AI 自动化渗透工具已让单人完成多机构入侵,可据此了解攻击门槛的变化。

  2. GitHub Blog · AI & ML62

    GitHub 推出基于 ModernBERT 的密钥检测模型,扩展 push protection

    GitHub 发布与 Microsoft Applied Sciences 联合微调的 ModernBERT 分类器,把 push protection 扩展到无固定格式的密钥,可在 2 毫秒内评估一批候选密钥,据称能把可拦截的密钥数量提升一倍以上。

    推荐理由:GitHub 用九个季度数据说明密钥泄露与人工修复的失衡,并给出把检测前移到 push 环节的模型方案。

10月2日周五
  1. Google Research62

    Google 发布基于 TEE 的新一代联邦学习系统,Gboard 已采用

    Google 发布新一代联邦学习系统,用可信执行环境(TEE)为数据匿名化提供可验证、可审计的保证,Gboard 已采用该系统上线英语和日语下一词预测模型。新系统把客户端梯度计算移到服务端,训练时间瓶颈从设备可用性转为 TEE 资源,此前每个模型训练需 1-2 个月。

    推荐理由:Google 公布基于 TEE 的新一代联邦学习系统设计,并给出 Gboard 已上线的实际部署效果。

9月30日周三
  1. Google DeepMind66

    Google DeepMind 推出 SynthID Bio,为 AI 生成蛋白质嵌入可验证水印

    Google DeepMind 发布 SynthID Bio,将水印技术引入合成生物学,把不可感知的签名直接嵌入生物代码,使水印不仅能在数字模型上验证,也能在合成出的实体蛋白质上验证,同时保持其生物功能。

    推荐理由:SynthID 水印从图像扩展到合成生物,读者可了解其在 DNA 合成筛查与数据库标注上的验证思路。

9月25日周五
  1. GitHub Blog · AI & ML62

    GitHub Security Lab 发布 Fuzzing Taskflow 智能体,自动完成 C/C++ 模糊测试全流程

    GitHub Security Lab 发布 Fuzzing Taskflow,一个面向 C/C++ 项目的自主模糊测试流水线,只需指向一个 GitHub 仓库,它就会识别入口点、分析构建系统、编写 harness、运行 AFL++、读取覆盖率报告并改进 harness,最后对每个崩溃做定级并生成漏洞报告。

    推荐理由:GitHub Security Lab 把模糊测试的 harness 编写、覆盖率追踪与崩溃定级交给 LLM 智能体,读者可据此判断自动化安全测试的边界。

9月24日周四
  1. Google DeepMind62

    Google DeepMind 为 Private AI Compute 引入安全服务端持久记忆

    Google Private AI Compute 团队公布为 Private AI Compute 平台引入私有服务端记忆的技术方案,让云端 AI 在跨设备场景下持久保留上下文,同时维持端侧级隐私标准。

    推荐理由:Google 公开了 Private AI Compute 的持久化服务端记忆方案,读者可了解云端 AI 如何在保留跨设备上下文的同时维持端侧级隐私。