CHAO AI LEARNING PATH

AI 知识库

从基础认知到真实项目,把零散知识整理成可以持续学习的路径。 继续学习 权限控制:哪些动作必须确认?
22学习模块 119已上线课程 63%当前章节
LEARNING MODULES

选择学习方向

让 AI 会调用工具权限控制:哪些动作必须确认?

让 AI 会调用工具

权限控制:哪些动作必须确认?

Agent 接入邮箱、CRM、数据库、支付系统和企业后台以后,不只是回答问题,还可能真的执行动作。能力越强,越要分清哪些动作可以自动做,哪些动作必须先确认。

一句话回答

权限控制,就是把“AI 想做什么”和“系统允许做什么”分开。读取类操作通常可以自动执行;一旦涉及改、删、发、钱、公开,就要根据影响范围做确认、授权和记录。

01 为什么 Agent 一定要做权限控制? permission boundary
查询订单 修改订单 取消订单 创建退款 发送短信 删除客户
用户表达需求 AI 理解 直接调用取消工具 订单被取消

最危险的误会,是把“用户在问能不能做”理解成“用户要求现在立刻执行”。

02 什么叫“确认”? explicit consent
AI我可以帮你取消订单 A10086。取消后可能无法恢复,是否确认取消? 用户确认。 系统检查权限后,再执行取消订单。
AI 提出建议 展示影响 用户明确确认 系统检查权限 执行操作
03 什么动作可以不确认? read only
查询天气 查询自己的订单 搜索知识库 读取允许访问的资料 查询库存 数据分析

它们主要是在“看”,不是在“改”。读取类操作,通常可以自动执行。

04 哪些动作应该重点确认? risk words
公开
查询订单 通常不用 查询库存 通常不用 修改客户资料 视影响而定 取消订单 建议确认 删除数据 必须谨慎确认 对外发送邮件 重要内容建议确认 发布公开内容 建议确认 退款 通常需要确认或授权 转账、付款 高风险,严格控制
05 第一类:删除操作 delete risk
AI 提出删除建议 展示删除对象 说明影响 用户确认 检查权限 执行删除

删除客户、订单、文件、数据库记录,尤其是批量删除,都应该谨慎确认。

06 第二类:资金操作 money risk
查询订单 读取退款政策 判断是否符合 生成退款建议 人工或用户确认 执行退款

AI 可以判断是否符合退款条件,但真正退款之前要确认和授权。

07 第三类:对外发送 send risk
AI 生成邮件 用户预览 确认收件人 确认正文与附件 发送
08 第四类:公开发布 publish risk
生成内容 检查内容 生成预览 人工审核 确认发布

生成文章和发布到官网,是两个风险等级完全不同的动作。

09 第五类:修改关键数据 update levels

普通资料修改

如改电话、补充备注,可以按业务规则自动执行或轻确认。

重要业务数据修改

如合同金额、订单金额,建议确认并记录操作。

权限、资金、安全配置

必须严格确认,必要时走多人审批。

10 批量操作要比单次操作更严格 scope matters

单个客户加标签

影响小,通常可按规则自动执行。

10 万客户改标签

影响范围变大,确认级别也要提高。

给一个客户发邮件

可先生成草稿,再让用户确认发送。

给所有客户群发

可能造成品牌、合规和信息泄露风险。

影响多少人、多少数据、多少钱,决定确认级别应该多高。

11 可以给 Agent 设置三级权限 risk ladder
低风险 自动执行

主要读取,不改变重要数据。

  • 搜索知识库
  • 查询天气
  • 查询订单
  • 读取允许访问的数据
中风险 按场景确认

会产生记录或轻量修改,需要看业务规则。

  • 修改普通客户资料
  • 创建工单
  • 创建日程
  • 保存草稿
高风险 严格控制

可能造成资金、权限、公开影响或不可逆后果。

  • 删除重要数据
  • 退款付款
  • 修改权限
  • 批量操作
12 “AI 说可以”不代表“系统允许” system gate
当前用户是谁? 有没有这个权限? 对象允许操作吗? 是否高风险? 是否获得确认? 全部通过才执行
13 不要只靠 Prompt 控制权限 hard boundary
AI 想调用 delete_customer 系统检查权限 没有权限 拒绝执行

Prompt 是行为约束,权限系统才是执行边界。

14 确认页面应该说清“会发生什么” clear consent

即将取消订单 A10086

订单金额 3980 元。取消后订单将进入退款审核流程,部分服务可能无法继续使用。是否继续?

准备执行什么 影响哪个对象 影响范围多大 能不能撤销 涉及多少钱 执行后会发生什么
15 确认以后,也要防止重复执行 idempotency
用户确认退款 生成唯一任务编号 执行退款 记录执行状态 返回异常先查状态 确认未执行再下一步
16 一个完整的 Agent 权限链路 permission chain
用户提出任务 AI 理解意图 选择工具 判断风险 必要时确认 检查身份与权限 检查业务规则 执行工具 检查结果 记录操作
17 权限控制其实是在回答三个问题 three checks

谁在操作?

当前用户是谁?是否已经通过身份验证?

他能不能做?

这个身份有没有调用该工具、操作该对象的权限?

要不要再确认?

即使有权限,这次动作是否因为金额、范围或后果而需要二次确认?

有权限 ≠ 可以无条件自动执行。金额越大、范围越大、后果越不可逆,确认级别越高。

本节练习

给一个客服 Agent 做工具权限表

把查询订单、取消订单、退款、发送短信、删除客户、修改客户资料分成自动执行、用户确认、人工审批三类,并写清每一类的确认信息。

读取哪些工具只是看数据? 修改哪些工具会改变业务状态? 范围影响几个人、几条数据、多少钱? 确认用户需要看到什么后果? 权限哪个角色允许执行? 记录执行后要留下什么日志?

本节小结

  • 读取类操作通常可以自动执行,修改现实结果的动作要更谨慎。
  • 改、删、发、钱、公开,是最容易需要确认的五类动作。
  • AI 负责理解和提出行动,系统负责检查权限,人负责关键确认。
  • 确认不是简单问一句“是否确认”,而是要把影响、对象、金额和后果说清楚。