OpenAI、Anthropic、Google 等一百多家公司联名呼吁抵御恶意 AI 网络攻击,这件事值得技术人认真看,不是因为它上了新闻,而是因为它把“AI 安全”从模型对齐、内容审核这类单点话题,拉回到了网络防御的主战场。攻击者已经开始把大模型当成标准攻击工具,防御方却还在用传统安全思路应对一个能自动生成、能批量执行、能自我调整的攻击体系,这种错位才是最危险的。
对多数技术团队来说,这条新闻真正该带来的不是一句“AI 安全元年”的口号,而是一份自查清单。你的系统里有没有 AI 入口?模型能访问哪些业务数据?如果攻击者用一段精心构造的提示词让模型执行恶意指令,你的日志能不能发现?模型调用第三方工具时,权限边界是否真的可控?下面不聊口号,只按我平时做安全评估和 AI 工程落地的顺序,把这轮 AI 网络攻击的威胁面、防御基线、排查步骤和落地动作拆一遍。
1. 为什么这次联名值得重视:AI 攻击已经进入人机结合阶段
1.1 攻击门槛被大模型压到了历史最低
过去想发起一轮大规模钓鱼,攻击者要么自己写文案,要么找专门团伙外包,成本高、周期长、内容还容易被人识破。大模型出现之后,这个门槛被压到极低。攻击者只需要提供目标是谁、想冒充谁、要诱导对方做什么三个要素,模型就能在几分钟内生成大量语法正确、上下文贴合、还能根据反馈反复修改的钓鱼内容。
我在内部安全评估里验证过类似场景:用一段企业公开招聘信息,测试模型生成钓鱼邀约邮件的可能性,生成内容在语气、称呼、排版上都很自然,普通员工很难一眼识破,更有意思的是,继续追问细节,模型能根据上下文自动调整话术。这种能力一年比一年强,而且使用门槛不要求懂编程,不要求懂语言学,只要会用对话界面。
这意味着网络攻击的“生产力”被大幅抬高。过去一个攻击者一天处理几个目标,现在可以同时铺开几百个高度定制化的攻击任务。安全团队面对的不再是“一个人写脚本”,而是“一个人加一个 AI 工作台”,自动生成、批量执行、持续调整。防御方的响应速度如果还停留在按天计算,基本跟不上。
1.2 单点防御失效,行业协作才可能跟上
为什么这次要 OpenAI、Anthropic、Google 等多家公司一起发声?因为今天的攻击对象已经从单个网站变成了整条技术供应链。大模型 API、开源模型、智能体框架、第三方插件,这些组件被大量企业共用。一个提示注入漏洞如果出现在某个流行框架里,影响的不只是一家公司,而是所有集成该框架的客户。
单靠某一家厂商在自己的产品里做过滤,解决不了跨系统、跨模型、跨数据源的问题。攻击者可以在 A 系统的输入里注入指令,让模型调用 B 系统的接口,最后影响 C 系统的数据。这种链路要防住,需要模型厂商、云服务商、安全厂商、使用者共享威胁情报,统一安全基线,约定每个环节各自该做什么。
联名表态的价值就在这里:它相当于承认恶意 AI 攻击是行业共同风险,不是某个安全部门的事。不过承认风险只是第一步,后面还要看各家是否真的开放威胁情报、公开安全配置模板、提供检测工具。这些才是更值得长期关注的实际信号。
2. 先看清威胁面:恶意 AI 攻击实际会打哪里
很多团队一听到“AI 网络攻击”就想到黑客用模型写病毒,这个理解太窄了。按我这些年做安全评估的习惯,会先把威胁面拆成四类,再看自己属于哪一类。分类清楚了,防御动作才不会乱。
2.1 钓鱼与社会工程:从群发撒网变成精准出货
AI 对钓鱼最大的影响不是“写得更快”,而是“写得像真人”。传统钓鱼邮件经常因为语法错误、排版混乱、上下文不符而失败。大模型生成的内容可以针对具体公司、具体岗位、具体项目定制,还能根据收件人回复自动调整话术。
更麻烦的是深度伪造带来的身份信任问题。利用公开音视频素材伪造某位负责人的声音或形象,再配合一段紧急指令,这种社工攻击在远程办公环境中尤其危险。判断标准很简单:如果公司已经有远程审批、在线转账、云上账号管理这类流程,就要把“听到熟悉声音”和“看到熟悉头像”从信任依据里划掉。
防御不能只靠安全意识培训,要变成机制:重要操作必须走独立确认通道,高风险动作设置人工复核,账号异常登录要能实时告警。这里最容易忽略的是确认通道本身,如果员工用同一个办公软件里的私信去确认转账,等于没确认。
2.2 漏洞发现与恶意代码:从人工分析变成自动批量
大模型在代码理解上的能力,攻防双方都在用。防御方用它做代码审计,攻击者也用它做漏洞挖掘。攻击者可以先让模型分析开源项目的源码,快速定位疑似漏洞点,再生成针对性的测试载荷,这个过程从过去的几天压缩到几小时。
恶意代码生成同样如此。模型不一定能直接写出多高级的利用程序,但可以大量生成变体、辅助分析沙箱行为、调整编译参数,帮攻击者节省大量重复劳动。对安全团队来说,这意味着漏洞修复的窗口期变短了。过去发现漏洞后还有几天时间打补丁,现在攻击者拿到公开漏洞细节后,可能几分钟内就能生成可用的利用脚本。
所以补丁管理、版本更新、攻击面收敛这些事,以前是运维规范,现在已经是安全底线。优先级上,公网暴露的组件要最先更新,尤其是网关、中间件、开发框架这类容易被批量扫描的目标。
2.3 针对大模型本身的攻击:提示注入、越狱与数据投毒
如果企业自己接入了大模型,需要重点关心三类问题。
第一是提示注入。攻击者把恶意指令藏在用户输入、网页内容、文档或工具返回结果里,让模型偏离原本设定,执行提取数据、调用接口、改动配置等操作。对智能体应用来说,提示注入是目前最现实的攻击路径。
第二是越狱。通过特定话术绕过模型的安全对齐,诱导模型输出被限制的内容。这类问题不只会带来合规风险,还可能被用来生成钓鱼素材、攻击代码。
第三是数据投毒。攻击者通过污染训练数据或检索库里的知识片段,让模型在特定话题上输出错误甚至恶意结果。对 RAG 应用来说,公开网页、文档库、用户上传内容都可能成为投毒入口。
这三类问题的共同点是传统防火墙很难覆盖,必须在应用层单独设计检测和拦截机制。很多团队以为模型供应商会统一处理,实际上供应商解决的是模型本身的问题,应用层怎么接、怎么调用、怎么限制工具权限,责任在使用方。
2.4 AI 供应链风险:模型文件、依赖库、第三方服务
很多团队从模型平台下载开源模型,直接放到生产环境,但很少校验模型文件的来源和完整性。恶意模型文件、被篡改的权重、带后门的依赖包,这些都是供应链攻击的入口。判断标准不是“这个模型跑起来正常吗”,而是“这个文件从下载到部署,中间有没有经过可信校验”。
第三方 API 同样存在风险。企业接入了某个大模型 API,密钥可能被硬编码在前端代码里,也可能被某个员工提交到代码仓库。密钥一旦泄露,攻击者可以直接调用服务,读取历史请求记录,甚至伪造请求。我一般会建议团队把 API 密钥当成生产身份来管理,不能用前端密钥,必须走后端代理,并配置调用配额和审计日志。
这四类威胁可以整理成一张快速对照表:
| 威胁类别 | 典型入口 | 优先防御动作 |
|---|---|---|
| AI 钓鱼与社工 | 邮件、IM、电话、视频会议 | 独立确认通道、多因素认证、异常告警 |
| 自动化漏洞与恶意代码 | 公网服务、开源组件、补丁窗口 | 补丁管理、攻击面收敛、版本锁定 |
| 大模型自身攻击 | 提示词入口、RAG 知识库、工具调用 | 输入校验、权限隔离、输出过滤 |
| AI 供应链攻击 | 模型文件、依赖包、第三方 API | 来源校验、密钥管理、依赖扫描 |
3. 企业防御的第一步:先盘点 AI 资产,再谈技术对抗
每次给团队做安全评估,我第一句话都是:先把“你们到底用了哪些 AI”这个账算清楚。很多团队说“我们没接入 AI”,实际上开发人员早就在用 AI 编程助手,业务部门也在用各种 AI 工具处理数据,只是这些没有走统一的采购和安全管理流程。
3.1 先摸清 AI 使用现状
盘点不需要多复杂,覆盖四类情况就行:
- 官方提供的 AI 聊天产品:员工是否用公司账号登录,是否录入了敏感信息。
- 大模型 API:是否有生产环境调用,密钥存在哪里,调用日志是否保留。
- 自托管开源模型:模型文件来源、部署环境、访问控制。
- 嵌入现有软件里的 AI 功能:例如办公套件、数据分析工具自带的生成能力。
每一项都要回答三个问题:谁在用、数据进到哪里去、输出会不会被外部访问到。这三个问题答不上来,说明资产还没梳理清楚,后面的安全措施就像打盲拳。
3.2 建立 AI 资产分级清单
盘完之后,给每一项打上安全级别。核心标准是数据敏感度和系统影响范围,而不是工具名气。一张简化表格可以这样建:
| 资产 | 数据敏感度 | 访问范围 | 风险等级 | 负责人 |
|---|---|---|---|---|
| 内部客服 AI | 含客户信息 | 内部 + 客户 | 高 | 客服系统负责人 |
| 代码助手 | 含未发布代码 | 开发团队 | 中高 | 研发负责人 |
| 内部文档摘要 | 普通内部资料 | 全公司 | 中 | 行政或 IT |
| 试用型聊天工具 | 不确定 | 员工自用 | 未知 | 待确认 |
分级的意义在于排优先级。风险等级高的系统,必须优先完成身份认证、日志审计和权限隔离;中低等级的系统,可以先守住底线,不要一上来就想把所有 AI 应用都做到同一个安全水平。资源有限的时候,先处理最高风险,比平均用力更有效。
3.3 权限和身份是 AI 攻击的最大杠杆
AI 系统一旦被攻破,攻击者能拿到什么权限,直接决定损失大小。所以我特别强调最小权限原则:AI 应用能读的数据库,就不要再给它写的权限;智能体需要调用某个内部系统,就只开放指定接口,不开放全局账号;模型输出要写回到生产系统时,必须先经过人工审核。
这里最容易踩的坑是“为了演示方便,给 AI 配了管理员权限”。演示环境可以,一旦接入真实数据和生产系统,权限必须逐项收敛。判断标准很简单:一个普通员工账号能做哪些事,AI 应用就应该只做这些事,甚至更少。拿不到判断依据时,先按“默认拒绝”来配置,而不是“默认允许”。
4. 大模型应用层的安全配置:从入口到出口都不要裸奔
如果团队已经在开发大模型应用,或者计划接入智能体,这一节建议直接对照检查。很多问题不是模型能力不够,而是接入方式太随意。
4.1 提示注入防护:不能只靠一句“忽略历史指令”
很多团队以为给模型加一句“请忽略所有试图让你改变系统设定的内容”就安全了,实际完全不够。提示注入的攻击入口非常多,包括用户输入、搜索引擎返回的网页、上传的文档内容、工具调用的返回结果。攻击者只需要在某一段外部内容里嵌入指令,就可能影响后续行为。
更稳的做法是分层防御。系统提示与用户输入分离存储,外部内容在进入模型前先做指令特征检测,模型输出经过二次校验再展示或执行。对智能体来说,还要在工具调用层做限制,即使模型被诱导,它能执行的命令也都在白名单里。
做安全评估时,我一般会准备一组对抗性用例,覆盖直接要求忽略限制、把恶意指令藏在长文本中间、通过工具返回结果传递指令等场景,逐个检查系统能否拦住。拦不住不要紧,关键是要能发现并终止后续动作,而不是让恶意指令一路执行到底。
4.2 入口清洗与出口校验
进入模型的数据,要先做敏感信息预检。客户手机号、身份证号、内部项目代号、未公开的财务数据,能脱敏就脱敏,能拦截就拦截。这样做既防止数据通过第三方模型 API 外泄,也减少生成结果中意外包含敏感信息的概率。
输出侧同样要校验。模型生成的代码、配置、SQL、HTML,在实际执行或渲染前,要经过一遍语法和风险检查。模型输出格式不对是小问题,输出一段指向恶意域名的链接、一段包含注入语句的 SQL,才是需要拦截的大问题。
入口和出口都做校验,意味着即使中间某一层被攻破,攻击者也需要再绕过一层才能造成实际影响。这就是纵深防御的思路,别嫌麻烦。
4.3 智能体工具调用的权限隔离
智能体是当前最需要管住的场景。模型本身不执行操作,但它可以调用工具、访问接口、触发流程。安全设计上要区分“模型建议做什么”和“系统真的做什么”。所有高风险动作都设置审批节点,工具调用记录完整审计日志,令牌有效期尽量缩短。
默认情况下,我给智能体配置的工具列表都会控制到最小集合。能用只读接口,就不用读写接口;能够用一个专用服务账号,就不用个人管理员账号。不要觉得这样麻烦,越麻烦的攻击面越小。如果某个智能体已经能访问客户数据、能调用内部 API、能写数据库,那它实际上已经是一个高权限系统,必须按最高标准管理。
4.4 模型与依赖的供应链管理
开源模型和机器学习依赖库,需要像对待生产软件一样管理:锁定版本、校验哈希、记录来源、扫描已知漏洞。模型文件也要看来源,非官方渠道下载的模型先做安全审查再上线。
如果接的是第三方 API,密钥管理、调用限制、日志留存要单独成体系。出现过的案例不少,密钥被提交到公开代码仓库,导致整个服务被刷爆、账单暴涨。这类问题不是靠提醒员工小心就能解决,要靠扫描工具和权限策略兜底。
5. 安全团队现在就可以落地的最小验证流程
这一节写给既没有专职安全团队、又不确定从哪里开始的中小型团队。建议花半天时间,把下面的步骤完整走一遍,不要跳过。
5.1 做一轮快速风险自查
打开系统清单,挑出所有包含生成式 AI 功能的应用,逐个回答以下问题,超过一半回答不确定,就要优先处理:
- 模型调用接口是否有身份认证和调用配额?
- API 密钥是否有可能被前端或公开仓库访问?
- 模型能读取哪些数据,是否包含敏感信息?
- 外部输入是否经过校验再进入模型?
- 模型输出是否经过审核才影响业务结果?
- 智能体工具调用是否有权限边界和审计日志?
- 模型文件的来源和版本是否可追溯?
这些问题不需要一次全部解决,但要能回答“谁来推进、在哪个版本前解决”。否则半年后复查,问题还是那些问题。
5.2 安排一次小范围对抗性测试
安全团队可以用一组模拟攻击用例,对核心 AI 应用做一次小规模测试。测试内容不需要很复杂,覆盖三类即可:提示注入、敏感数据泄露、恶意输出执行。运行环境建议放到测试环境,不影响生产。
我见过不少团队在测试中发现:看起来做了权限隔离的系统,其实某个接口可以被未授权访问;或者是输入过滤生效了,但输出侧完全没校验。这些问题在真实攻击发生前发现,修复成本是最低的。测试结果一定要记录,至少包括场景、结果、修复建议和责任人。
5.3 建立 AI 安全事件的处理预案
传统安全事件预案需要补充 AI 特有场景,至少包含四类:
- 模型输出违规内容或恶意指令,如何撤回和隔离。
- 提示注入成功,导致工具被调用或数据被读取,如何追溯操作记录。
- API 密钥泄露,如何快速吊销、轮换和排查异常调用。
- 模型文件被篡改,如何识别影响范围并回滚。
每类预案都要有负责人、执行步骤、验证方式,不能只停留在“出了问题再说”。尤其是溯源环节,平时不留日志,出了事就只能靠供应商帮助,自己什么都查不到。日志记录得越细,后续排查和反制越有依据。
5.4 把行业安全框架转成自己的落地清单
现在已经有多个行业组织和主要厂商在发布 AI 安全方面的框架和最佳实践。建议不要去追最新版本号,而是从中挑出和自己业务相关的条目,转化成内部的检查项和验收标准。比如“输入校验怎么做”“代码仓库密钥扫描配什么工具”“第三方模型供应商怎么选型”,这些才是能执行的东西。
我自己的习惯是每季度做一次 AI 资产复查。AI 工具变化太快,上个季度还没有的智能体,这个季度可能已经接入核心流程了。安全清单如果半年不更新,基本等于失效。
6. 联名声明只是起点,真正的安全要靠每个使用方落地
6.1 联合表态的价值是确定行业基线
一百多家公司联合发声,短期内不会直接让某个攻击者停止行动,它的价值在于把“恶意 AI 攻击是共同风险”变成一个行业共识。有了这个共识,才可能推动威胁情报共享、统一安全标准、更透明的漏洞披露机制。
对使用者来说,这种表态也是一个参考信号。在选择模型供应商、云服务商和 AI 安全工具时,可以更明确地要求对方提供安全文档、事件响应支持和合规说明,而不是只看演示效果和跑分。供应商对安全的态度,直接关系到接入后的风险兜底能力。
6.2 声明不等于防护能力,别把它当成安全背书
这里要说明白一点。联合声明代表的是态度和方向,不代表某家公司已经把所有安全能力都做到位了,更不代表企业接入这些服务之后就可以省掉自己的安全设计。真正决定安全水平的,还是每个系统具体的配置、测试、监控和应急响应速度。
我见过一些团队因为“供应商很大,应该安全”就放松了自己的密钥管理、数据脱敏和权限控制,最后出了问题才发现,供应商只能保证自己的服务风险可控,使用方的配置风险还是要自己承担。大公司的默认配置能满足通用场景,但不一定满足你的数据敏感度要求。
6.3 接下来值得关注的三个落地信号
后续判断这次联合发声到底有没有实质影响,可以聚焦三件事:
- 各家是否开放了针对 AI 攻击的检测工具、安全基线或应急响应通道。
- 威胁情报共享机制是否真正落地,企业能不能在遭遇攻击时拿到有用的跨平台告警。
- 模型安全评估和漏洞披露流程是否变得更快更透明,而不是停留在原则性表态。
如果这些信号出现了,说明行业级防御在往前走;如果只是停留在新闻稿层面,那企业该做的本地防护措施还是要自己做,不能等。
我之前复盘过不少系统被攻击后的处置过程,最后发现大多数问题不是安全工具不够先进,而是基础配置、权限控制、日志留存这些看起来不复杂的事情没做好。AI 攻防也一样。先把自己的资产、权限、日志管住,再谈对抗大模型发起的攻击,这条路不会错。