CHAO AI LEARNING PATH

AI 知识库

从基础认知到真实项目,把零散知识整理成可以持续学习的路径。 继续学习 什么时候应该停下来,交给人工判断?
22学习模块 119已上线课程 80%当前章节
LEARNING MODULES

选择学习方向

日常使用决策表什么时候应该停下来,交给人工判断?

日常使用决策表

什么时候应该停下来,交给人工判断?

通用问题可以直接问,具体问题要给资料,最新问题要搜索,重要事实要核实。但还有最后一道边界:有些问题 AI 就算能继续回答,也不应该独自替你做决定。

一句话回答

当“答错或做错的代价”明显高于“继续自动化的收益”时,就应该停下来。AI 可以继续整理和建议,但最后一步要交给有权限、有责任的人判断。

01 先看这条刹车线 risk + certainty + reversibility

风险高、资料不够、结果不可逆,就不要让 AI 硬做

AI 能回答,不代表它应该替你做决定。真正的边界不是“AI 会不会”,而是“做错以后会发生什么”。

AI 准备做下一步 风险高吗? 能撤销吗? 信息够吗? 交给人判断
02 六个很明确的停止信号 stop signals
涉及资金

付款、退款、转账、扣款、大额采购,做错就是实际损失。

删除和不可逆

清空订单、删除客户、覆盖数据库、批量发送,越难撤销越要确认。

资料不足或冲突

缺订单号、身份未确认,或者旧政策和新政策互相矛盾。

用户意思不明确

“能不能取消”是咨询,“帮我取消”才可能进入执行流程。

专业和责任重大

法律、医疗、重大财务判断,AI 可以整理,但不应独自拍板。

状态不确定

退款超时、工具失败、连续无新信息时,先查状态,不要硬重试。

03 咨询,不等于授权 intent boundary
能不能取消? 如果取消会怎样? 帮我取消

“能不能取消”是咨询,“如果取消会怎样”是询问影响,只有“帮我取消”才可能进入执行流程。

04 转人工前,AI 仍然能做很多准备 prepare before handoff
收集信息

订单号、金额、原因、凭证、联系方式,先把人工需要的材料凑齐。

查询资料

订单状态、退款政策、历史记录、合同条款、相关制度。

整理争议

把用户诉求、系统记录、资料冲突和关键风险点整理清楚。

生成建议

给出可选处理方案、建议结论和需要人工确认的事项。

05 三档风险,三种处理方式 risk table
低风险

AI 直接处理

总结、翻译、普通资料查询
中风险

AI 处理 + 必要确认

修改普通数据、创建跟进任务
高风险

AI 准备 + 人工决策

大额退款、合同修改、重大投诉
不可逆 / 重大风险

权限验证 + 人工确认

删除数据、付款、改权限
06 这些异常状态,也要先停 uncertain state
退款工具超时

不要马上重试

先查询退款状态,仍无法确认就转人工。
AI 很自信

先检查依据

语气强,不等于事实可信。
反复绕圈

设置无进展停止

连续几步没有新信息,就停下来。
自称管理员

系统验权

用户说有权限,不代表真的有权限。
07 Human in the Loop human confirmation
AI 分析 AI 提出建议 人工确认 系统执行

低风险自动化,中风险增加确认,高风险让 AI 做准备、让人做决定。

本节练习

给四个操作画出“该停”的位置

不要只写“转人工”。写清楚 AI 可以做到哪一步,哪一步必须由人确认,以及系统怎么检查权限。

退款 AI 查订单和政策,金额或责任有争议时人工确认。 删除数据 AI 可以列出影响范围,但删除前必须确认身份和备份。 权限升级 AI 不能听用户自称,必须让系统校验真实权限。 合同修改 AI 标出风险和改动点,最终由有责任的人确认。

本节小结

成熟的 AI 系统,不是所有事情都自动化,而是该自动的自动,该确认的确认,该停的时候真的能停。

  • 风险高、信息不完整、结果不可逆,就该停下来。
  • 咨询、询问影响、明确授权,这三种意思不能混。
  • 高权限操作必须由系统验权,不能只看用户自称。
  • AI 可以先做准备,但最终责任要有人承担。
  • 最好的流程是低风险自动化,高风险人工确认。