AI Agent安全
当Agent能改数据、发邮件、动支付,安全就不只是模型答得准不准,而是它越界时能否被拦住。

30秒看懂:企业上线AI Agent,真正的安全风险不在模型答错,而在它拿到权限后,一次错误指令能否直接变成不可逆的业务操作。本文把Agent安全拆成五个可操作的问题:它能看什么、能做什么、以什么身份做、出事谁能停、事后如何追溯。围绕这五问,给出按自主等级配置控制的方法,并梳理提示注入、过度授权、身份混杂、停不下来、查不清楚五类风险的责任分工与验收流程,帮助管理者在扩大自动化之前,先管住Agent越界时的损失。

过去企业测试聊天机器人,主要检查回答是否准确、有无泄露信息;现在,一个连接邮件、CRM、财务系统和内部知识库的AI Agent可能自行读取资料、选择工具、修改记录或对外发送内容。风险不只在模型会不会“说错”,还在于它获得了什么权限,错误指令能否直接变成不可逆的业务操作。

这并不意味着普通聊天机器人没有数据泄露风险,也不意味着所有Agent都能自主操作。有些Agent只读、只建议;有些可以提交订单、发送邮件甚至调用支付接口。2026年5月,Gartner在关于Agent治理的报告中将自主程度分为四级,并明确要求按照不同等级和授权范围配置控制,不能一套规则管所有系统。

2025年12月,OWASP发布《Agentic应用十大风险(2026版)》,中国2026年5月的《智能体规范应用与创新发展实施意见》也提出决策权限、行为控制、供应链安全和分类分级治理要求。两者覆盖面不同:前者是社区安全框架,后者是中国智能体发展的政策意见;都不等于企业拿到一张清单就已经完成合规或安全验收。

Runwise认为,管理者需要先问五个可操作的问题:它能看什么、能做什么、以什么身份做、出事谁能停、事后如何追溯。 然后才讨论模型的拦截率。

提示注入为什么难以根治,如何切断一次攻击造成的损失

提示注入(Prompt Injection)并不是普通用户对Agent下达任务,而是攻击者把看似正常的指令藏在Agent将要读取的网页、邮件、PDF、工单或工具返回结果里,诱使模型把不可信内容当作上级命令。即使用户没有授权,Agent也可能按照外部文字尝试调用它本来就能使用的工具。

风险之所以复杂,是因为恶意指令和正常数据都以文本等形式进入上下文,不能仅靠一句“忽略外部指令”保证安全。Meta于2025年10月提出的Agents Rule of Two(二选二原则),给出一种限制高危攻击链的设计思路:当一个Agent在同一会话中同时具备处理不可信输入(A)、接触敏感数据或系统(B)、改变系统状态或对外通信(C)三项能力时,攻击者更容易把“读到指令”串成“读取秘密并带出”或“执行不当操作”。

Meta建议尽可能使同一会话只满足其中两项;任务确实需要三项时,应引入人工监督或其他可靠验证。这是一条安全架构建议,不是法规,也不能取代最小权限、日志和常规安全测试。 Meta还提醒,即便满足二选二原则,也可能发生普通操作错误、虚假回答或人工盲目批准。

举例说,销售助理确实要读取外部来信(A)和内部客户档案(B),可以让它起草回复,但不让它未经核准直接向任意邮箱发送(限制C);若一定要自动发送,应考虑按收件人、数据类型和交易额度设置额外的确定性控制。重点并非让Agent“永远看不见坏内容”,而是限制其被误导后能够造成的损失。

五类风险,分别应该由谁采取什么控制

下列五类是Runwise按管理问题整理的实践分类,不是OWASP十类风险的官方合并版本。实际威胁可能同时涉及几个类别,例如提示注入加上过大权限,会同时造成泄密与越权执行。

风险一:看得太多,内部敏感数据被过度暴露

一个负责某客户售后问题的Agent,需要当前客户订单及适用政策,不需要读取其他客户的全部合同,更不需要访问人事资料。管理重点是数据最小化:调用接口时按用户、任务和资源范围授权,对个人信息与商业秘密设置必要的隔离,对不需要传入模型的字段先屏蔽。

不要把“Agent继承了某位总监的权限”当作部署捷径。总监能看所有客户,并不意味着为他工作的Agent也应该能批量导出数据。业务部门确认必需字段,数据Owner决定数据使用条件,安全与IT实现技术限制。

风险二:做得太多,工具调用越权或不可逆

检索资料和删除客户记录不能放在同一个权限等级。工具清单应该逐项注明读、写、删、发、付等操作,特别是修改银行账号、发送外部邮件、退款、订单提交、权限变更,要有独立批准或机器可执行的硬限制。写入前做参数校验、额度限制、目标系统授权核查;需要时先在测试环境验证。第三方MCP Server、插件或技能包也应进行来源审查、版本固定与供应链风险评估。

这里最容易遗漏的是工具返回内容也不可信。即使工具由公司自己部署,它返回的网页、客户评论和第三方文件也可能夹带攻击指令。工具的说明、返回文本和真实权限必须分别管理,不能因为Agent能调用某个API,就允许它按任意文本自动组合高风险操作。关于MCP连接企业系统时的权限边界,MCP是什么?为什么AI Agent开始用它连接企业数据和业务系统一文有更具体的分析。

风险三:身份不清,人和Agent共用账号造成失控

企业至少要能从日志判断是人发起、Agent执行,还是系统定时任务自动执行。微软Entra Agent ID把Agent身份、技术Owner和承担业务责任的Sponsor分开管理,并支持控制其授权和生命周期,这为企业建立可审计的机器身份提供了可参考的产品实现。

正式系统不宜让Agent长期使用个人管理员账号或共享的高权限密钥。应使用与工作范围相匹配的服务身份或明确的用户委托授权,并控制凭据期限。员工离职、Agent停用、外部供应商退出时,应能单独撤销对应的授权,而不会误伤其他应用。

用同样的框架诊断你的业务

如果你的团队正在把Agent接进邮件、CRM或财务系统,与其继续争论模型拦截率,不如先用这五问把权限边界画清楚。

免费体验 Upskill AI 顾问 →

风险四:停不下来,一次错误持续扩散

运行时监控必须覆盖异常调用、重复失败、敏感数据读写量、外部发送频率、未经预期的系统变更和成本激增。超过企业设定的边界时,应能暂停新的工具调用、撤销会话或凭据、隔离运行任务,并通知责任人。Gartner针对最高自主级别明确建议持续监控、强制护栏、快速回滚与熔断开关。

需要特别区分:停止Agent继续运行,不等于已经撤销它之前做过的事。 一封已发送的邮件、一次已执行的付款,可能无法通过“关掉Agent”恢复。企业还应事先确定业务补救流程,以及哪些操作只能由人工最后批准。

风险五:查不清楚,事故后无法复原决策链

一般应用日志记录接口是否成功,Agent审计还要追踪任务来源、调用身份、工具及参数、审批人、关键输出与结果。对于高风险操作,最好能知道Agent当时依据了哪些资料,但这不意味着要无限期保存所有原始对话和敏感数据。日志的内容、访问者、留存期及脱敏规则同样需要设计。

立即登录阅读全文
登录或注册即可解锁全站内容,即表示你理解并同意 服务协议 与 隐私政策

业务负责人应能够判断某个错误是规则配置、知识过期、模型判断、提示注入,还是接口执行所致;安全团队需要据此调查和复盘。若只看到“调用成功”,却不知道成功提交了什么、向谁发送了什么,追责与改进都难以开展。这与下属自己搭了个能发客户邮件的Agent,你批不批?六类动作的授权决策表中讨论的授权与追责问题直接相关。

安全不是审批越多越好,而是按自主等级配置控制

自主等级 Agent实际行为 重点安全控制 人工介入方式
1 只读观察 检索、汇总指定信息 身份认证、只读权限、基础测试、日志 对关键事实抽检
2 生成建议 草拟回复、建议操作 结果质量评测、来源提示、使用者培训 由人决定是否执行
3 经批准执行 准备变更,由人确认后调用工具 显示动作和参数、明确审批记录、可回退测试 只在真正影响结果的节点审批
4 自主执行 在边界内连续修改系统状态 限额、持续监控、熔断、异常升级、责任Owner 处理例外及复盘,必要时暂停

这是根据Gartner四级模型整理的管理者版本,具体实现还要考虑数据敏感度与业务影响。一个只读但能检索海量个人信息的Agent,风险未必小于只允许修改本人草稿的Agent。自主等级和访问范围应分别评估。

增加审批次数也未必等于安全。一个财务主管如果每小时收到几十次“是否允许继续”的弹窗,可能逐渐机械点击同意。Gartner已经提醒,时间压力和审批疲劳会使人工确认退化。更可靠的组合是事前缩小权限、关键节点做高质量审批、事中限制损失、事后复核异常。

企业上线前应跑通一条完整的安全验收流程

建议将下面这条流程纳入现有软件变更或AI上线制度,而不是另设一个只看模型答案的孤立审批。

第一步,登记与分级。 业务提出用途、预期价值、接入数据、拟调用工具、自主等级与业务责任人。IT、安全、数据Owner确认现有系统是否允许这种接入。这里的输出是一张明确的Agent资产与权限记录。

第二步,建立可测试的授权边界。 在沙箱中确认能读什么、能写什么;用越权请求、恶意外部文档、错误参数和重复执行等测试验证控制。高风险调用要有额外限制,并确认拒绝授权时确实不能执行。

第三步,完成上线前的业务与安全验收。 业务检验准确性、工单或事务成功率;安全团队检验提示注入、越权与敏感数据保护;平台团队验证日志、监控、暂停与恢复。只有关键失败情形已经被拦住或能够被可靠控制,才扩大使用范围。

第四步,在有限范围内运行并持续复测。 先限定使用者、交易范围和权限,记录异常、成本和人工复核量。模型、工具、知识源或权限发生实质变更时,重新进行受影响的回归测试。重大事件触发暂停、补救和复盘。

一项可操作的验收标准是:业务责任人能够说清楚Agent会做什么;平台团队能够证明它做不了什么;安全团队能够复演一次发现异常、停止执行、保存证据并恢复业务的过程。 这些验证通过,比“已经接入安全大模型”更能说明上线准备程度。

中国企业尤其需要明确的三条责任边界

第一,业务部门对使用目的和经营结果负责,不能把“模型自动决定的”当作免责理由。第二,IT和安全团队必须真正拥有技术限权、暂停与隔离能力,而不只是写制度。第三,法务、合规和数据负责人参与与个人信息、金融支付、医疗等相关的关键决策,具体要求需根据行业法律和监管规范确认,不能以本文替代合规评估。

Agent安全不是要求公司放弃自动化,而是避免在还没有控制后果时就把更广的权限交出去。对于企业而言,真正成熟的AI落地,不是Agent可以做多少事,而是它知道在哪些边界内做事,越界时能被阻止,出错后有人承担修复责任。

数据来源

  • OWASP Top 10 for Agentic Applications for 2026|OWASP GenAI Security Project|2025-12-09
  • Agents Rule of Two:A Practical Approach to AI Agent Security|Meta AI|2025-10-31
  • Gartner Says Applying Uniform Governance Across AI Agents Will Lead to Enterprise AI Agent Failure|Gartner|2026-05-26
  • 《智能体规范应用与创新发展实施意见》|中国网信网|2026-05-08
  • Administrative Relationships in Microsoft Entra Agent ID|Microsoft Learn|访问于2026-10-10

常见问题(FAQ)

AI Agent安全中最容易被忽视的风险是什么?

工具返回内容也不可信。即使工具由公司部署,返回的网页、评论或文件也可能夹带攻击指令,不能因Agent能调用API就允许随意组合高风险操作。

提示注入为什么难以根治?

因为恶意指令和正常数据都以文本形式进入上下文,无法仅靠一句“忽略外部指令”保证安全,需要限制Agent被误导后能造成的损失。

企业上线AI Agent前应完成哪些安全验收?

登记分级、建立可测试的授权边界、完成业务与安全验收、在有限范围运行并持续复测,确保能复演发现异常、停止执行、保存证据并恢复业务。

如何防止Agent停不下来造成持续扩散?

运行时监控异常调用、敏感数据读写量、外部发送频率等,超过边界时暂停工具调用、撤销会话或凭据,并区分停止运行与撤销已执行操作。

AI Agent的自主等级应该怎么配置安全控制?

按只读、建议、经批准执行、自主执行四级分别配置权限、监控和人工介入方式,同时结合数据敏感度与业务影响评估,而非一套规则管所有系统。

想把这套打法用到你自己的业务上?

你可以用这五个问题快速自查当前Agent部署:能看什么、能做什么、以什么身份、谁能停、怎么追溯。如果发现边界说不清,不妨让AI顾问帮你诊断一次。

💎 核心承诺:先诊断、再合作,思路不对不推进。

专属咨询热线:400 822 8832

扫码添加顾问 Ben 企业微信

扫码加顾问 Ben 评估
点个赞鼓励一下作者吧~
点赞
收藏
请用微信扫码分享哦~
分享
加入AI创新
专业交流群

免费送7行业30+案例
及时看最新直播/研报

勿删,用于自定义目录加锚点,隐藏即可

相关文章推荐
点赞
收藏
请用微信扫码分享哦~
分享

还差一步
扫码锁定入群名额

加我时请备注下方群名

创新战略交流群

免费送“2024新业务孵化/战略创新指南”

B2C增长创新群

免费送“10大消费行业50个增长案例汇总”

B2B增长创新群

免费送“7大B2B行业30个增长案例汇总”

AI应用创新群

免费送“20篇AI研报+110套GPT提示”
关闭按钮
欢迎来到Runwise即能创新社区!
登录装饰图,三个人围坐在电脑前,对某个灵感进行沟通和讨论
已有账号?
电话咨询
7x24热线,欢迎致电咨询
微信咨询
扫码添加专家微信
扫码添加专家微信
享专家1V1咨询