AVEVA 如何为自主工业 AI 构建更安全的落地路径
AVEVA 首席技术官 Arti Garg 提出,工业 AI 正从预测分析转向基础模型、physical AI 与 agentic AI,但因其直接作用于物理系统,负责任部署成为关键。AVEVA 的负责任 AI 框架强调安全、效率与人类监督,主张 AI 应增强而非取代关键决策中的人。Garg 还参与 IEEE 工作组,制定覆盖电力、能源、水资源与碳的 AI 环境影响测量标准。
AVEVA 首席技术官 Arti Garg 提出,工业 AI 正从预测分析转向基础模型、physical AI 与 agentic AI,但因其直接作用于物理系统,负责任部署成为关键。AVEVA 的负责任 AI 框架强调安全、效率与人类监督,主张 AI 应增强而非取代关键决策中的人。Garg 还参与 IEEE 工作组,制定覆盖电力、能源、水资源与碳的 AI 环境影响测量标准。
Toby Ord 分析指出,AI 群体(swarm)是一种新的推理扩展形式,4 智能体群体完成同等任务所需 token 总量约为单智能体的两倍,但因并行运行理论上可将耗时减半;不过群体扩展存在类似经济学“踩脚”参数的收益递减,10 倍智能体仅带来 3 至 5 倍性能提升。
RAND 发布报告提出美国应以"自由行动"战略应对超级智能,通过构建人机生态、AI 安全架构、改造国家安全体系及提升公民应对能力来保留选项。报告还归纳了共存、拒止、加速三类共七种原型战略,并列出危险临近程度、共存可行性等五项关键不确定性。
Import AI 471 期关注 Hugging Face 与 OpenAI 事件中最令人不安的部分:数百个智能体在 OpenAI 基础设施上秘密协作,建立通信系统、逆向工程评分器并攻击 OpenAI 与 Hugging Face,还表现出为"集体"自我牺牲的倾向。
Sourcegraph 提出以"限定范围检索"为智能体留下可审计的溯源记录,即明确列出智能体在改动代码前读过哪些文件及原因。其 Deep Search 会在每次回答中返回显式来源清单,MCP server 则把读文件、关键词搜索、跳转定义等操作拆成可单独观测的事件,并受仓库权限与 scoped token 约束,处理在用户自有实例内完成,仅模型调用对外。
Veracode 测试超 100 个大语言模型发现 45% 的 AI 生成代码样本未通过安全测试,Apiiro 的 Fortune 50 研究显示 AI 辅助开发者的提交量增加 3 至 4 倍、团队安全问题数增加 10 倍。