付款、退款、转账、大额采购、账户资金、重要交易。
指令安全与边界
高风险问题什么时候必须转人工？
前面我们讲了：AI 不确定的时候不要硬答。但在真实业务里，还有一类问题更重要：有些事情即使 AI 觉得自己知道，也不应该自己做最终决定。
一句话回答
高风险问题的边界，不是看 AI 能不能答，而是看答错或做错的后果。后果严重，就让 AI 做准备，让人做决定。
01 什么叫高风险问题？
impact first
判断风险，不只看问题难不难，要看答错以后会发生什么
“几点下班”答错，通常只是体验问题；“这份合同一定没有违约责任吗”答错，就可能带来真实损失。
02 六类典型转人工信号
handoff signals
合同风险、违法判断、条款效力、重大合规决策。
诊断、用药调整、紧急情况、人身安全判断。
导出客户名单、修改权限、删除资料、关闭系统。
旧政策写 7 天，新政策写 15 天，AI 无法确认哪个有效。
多扣款、项目损失、正式投诉、异常情况。
03 以 5 万元退款为例
ai prepares, human decides
用户申请退款
AI 收集订单信息
AI 检查退款规则
生成处理建议
人工确认
系统执行退款
AI 负责提高效率，人负责最终决定。
04 转人工，不代表 AI 什么都不做
prepare context
订单号、金额、原因、联系方式。
订单状态、退款规则、历史记录。
用户申请退款，原因是重复扣款。
涉及金额 28,000 元，需要人工审核。
05 最好的方式是 AI 处理 + 人工决策
workflow
用户提出问题
AI 判断风险
收集必要信息
整理建议
触发人工审核
人工最终决定
06 怎么判断要不要转人工？
risk matrix
AI 直接处理
营业时间、普通资料查询AI 处理，但增加检查
普通售后申请、低金额补偿AI 辅助 + 人工确认
大额退款、合同修改权限验证 + 人工确认
删除数据、付款、改权限
07 Agent 时代，这个问题会越来越重要
from answer to action
发邮件
改数据库
下订单
操作账户
生成合同
修改权限
调用企业系统
AI“说错”和 AI“做错”已经是两个完全不同的风险等级。
08 Human in the Loop
human confirmation
AI 分析
AI 提出建议
人工确认
系统执行
低风险自动化，高风险人工确认。关键不是让人处处参与，而是让人出现在关键决策点。
本节练习
设计一个 5 万元退款的转人工流程
写清楚 AI 能做什么、不能做什么、在哪一步必须人工确认，以及最终由谁触发系统执行。
AI 收集订单、金额、原因、凭证。
AI 建议按规则整理可疑点和处理建议。
人工确认审核金额、责任和例外情况。
系统执行权限校验通过后再退款。
本节小结
- 高风险问题的关键不是难不难，而是答错或做错的后果严不严重。
- 大额资金、法律医疗、敏感数据、不可逆操作和重大争议都应触发人工确认。
- 转人工前，AI 仍然可以做信息收集、资料查询和问题总结。
- Human in the Loop 的核心是把人放在关键决策点，而不是让所有任务都回到人工。