AI 晋升学习模块

Module 07

安全、隐私与 AI 治理

越接近真实业务,越需要懂风险和责任边界。

老师带学方式

你不需要一次全懂

先记一句话,再做 10 分钟练习,最后交一个小作业。老师只看你能不能把知识用到真实业务判断里。

每一步按 4 个动作学
  1. 先背一句话,建立判断框架。
  2. 看知识点,但只抓业务判断方法。
  3. 做 10 分钟练习,套到你的场景。
  4. 按“合格 / 优秀 / 没通过”检查作业。

Lessons

本模块学习步骤

每张卡都是一个小模块,建议一天只学 1-2 张,学完必须交作业,否则就算只看了一遍。

01 0.5 天

数据分级与权限

本步 3 个知识点
学习目标

能判断哪些数据能给 AI,哪些必须脱敏或禁止。

先记这一句话

AI 风险治理先从数据边界开始。

知识点清单与业务判断 先会用,再理解

1. 数据分级

知识点讲解区分公开、内部、敏感、受监管数据。

老师板书 数据分级 治理

数据分级先决定哪些资料能被 AI 看见。

先用人话讲明白

数据分级是按敏感程度和影响范围给数据分类,决定 AI 能否使用、如何脱敏、谁能访问。它是 AI 安全治理的起点。

类比可以把它理解成给 AI 上岗前办权限、签责任书、留操作记录。

为什么要学先判断数据敏感度,再决定 AI 能不能看。

把关键词拆开看
  • 公开数据:可对外或低风险资料。
  • 内部数据:团队内部使用,禁止外泄。
  • 敏感数据:个人信息、账号、日志标识、商业机密等。

入门版理解:区分公开、内部、敏感、受监管数据。

适用范围和边界
1. 优先原则:先满足前提,再谈使用

在实际工程里,任何概念都不能脱离场景硬套。学习「数据分级」时,第一步不是问“它高级不高级”,而是问它是否真的能帮助你完成一个更清晰、更可验证的业务判断。

  • 先看它服务的专业判断是不是「治理」:先判断数据敏感度,再决定 AI 能不能看。
  • 数据、工具、输出、人群和使用场景都已分级。
  • 知道哪些信息能给模型看,哪些只能脱敏,哪些禁止进入模型。
2. 引入边界:同时满足这些条件,才值得推进

只有当它能把问题从“凭感觉讨论”推进到“可设计、可评测、可复盘”时,才说明这个知识点真正进入了业务方案。

  • 当「数据分级」能改变用户日志、设备标识、账号权益、内部故障资料、外部用户问答里的设计、评测或风险控制动作时,才值得进入方案。
  • 适合任何接触用户数据、内部资料、工具调用、用户可见回答的 AI 项目。
  • 适合在设计阶段就确定权限、脱敏、拒答、审计和责任边界。
3. 反向边界:这些情况先停下来

专业判断的价值,不只是知道什么时候用,更是知道什么时候不用。下面这些情况出现时,要先补数据、补流程、补权限或补评测,而不是继续堆 AI 能力。

  • 不分级就无法制定权限和脱敏规则。
  • 日志中常混有敏感字段,不要因为它是技术数据就忽视。
  • 不要把安全治理放到上线前最后补,它会反过来影响架构和流程。
  • 不要只靠 Prompt 防注入、越权和泄露,必须有系统级权限和校验。
  • 日志、诊断包、截图 OCR 里常混有敏感信息,技术数据也可能是隐私数据。
4. 上线前判断:能回答这些问题再落地
  • 能给数据、工具、输出分别做公开/内部/敏感/禁止分级。
  • 能说明每个高风险动作的审批人、审计字段、回滚方式和责任人。
  • 现场追问:如果这条 AI 输出被用户截图、被审计、被事故复盘,你能不能解释它为什么被允许?
架构师总结:数据分级先决定哪些资料能被 AI 看见。 对架构师来说,数据分级 不是一个要背的名词,而是一把判断尺:先看前提是否成立,再看收益是否大于复杂度,最后看失败时有没有证据、兜底和责任人。
通用例子:先脱离技术看懂它

公开 FAQ 和用户手机号显然不能用同一套访问规则。

这个例子要看见的重点:先判断数据敏感度,再决定 AI 能不能看。 所以例子不是为了记故事,而是为了训练你在新场景里做同类判断。

投影 / Android 实战推演
  • 业务推演:投影 Android 业务里,产品手册可公开,内部故障复盘是内部数据,设备唯一标识、账号信息、用户日志原文可能是敏感数据,进入 AI 前要脱敏和授权。
  • 你要补的证据:围绕「治理」列出数据、文档、日志、用户反馈或人工标注,避免只凭感觉判断。
  • 可交付物:沉淀 数据分级、脱敏规则、权限控制、审计记录和责任边界。,让同事能照着复用,而不是只听你口头解释。
  • 验收指标:至少选一个质量指标、一个效率指标、一个风险指标;比如正确率/一次解决率、定位耗时/追问轮次、误导用户率/转人工率。
  • 迁移能力:同一套思路也能迁移到客服、测试、研发效率、运营分析和产品决策,不局限于投影业务。
老师会这样检查你是否真会了
  • 你能不能用一句人话解释「数据分级」,并说出它解决的是「治理」里的什么问题?
  • 你能不能举一个适用场景和一个不适用场景,并说明边界来自数据、流程、风险还是权限?
  • 你能不能把它落到一个真实小任务:输入是什么、输出是什么、验收指标是什么、失败时谁兜底?
  • 老师追问:如果这条 AI 输出被用户截图、被审计、被事故复盘,你能不能解释它为什么被允许?
  • 练习产物:给你们常见数据列一张分级表:公开、内部、敏感、禁止进入模型。
精通标准:数据分级先决定哪些资料能被 AI 看见。 能精通的人,不是能背定义,而是能把它迁移到一个新业务里,写出判断表、数据要求、风险边界和落地动作。
业务判断方法

不同级别对应不同使用规则。

2. 脱敏

知识点讲解去除个人信息、密钥、合同金额等敏感内容。

老师板书 脱敏 治理

脱敏是在保护用户的同时保留可分析信号。

先用人话讲明白

脱敏是把敏感信息替换、删除或泛化,让 AI 在不暴露隐私和机密的情况下使用数据。

类比可以把它理解成给 AI 上岗前办权限、签责任书、留操作记录。

为什么要学保留分析信号,同时去掉不该暴露的信息。

把关键词拆开看
  • 替换:手机号、账号、设备 ID 用占位符。
  • 泛化:精确位置改成城市或区域。
  • 最小化:不需要的敏感字段直接不传。

入门版理解:去除个人信息、密钥、合同金额等敏感内容。

适用范围和边界
1. 优先原则:先满足前提,再谈使用

在实际工程里,任何概念都不能脱离场景硬套。学习「脱敏」时,第一步不是问“它高级不高级”,而是问它是否真的能帮助你完成一个更清晰、更可验证的业务判断。

  • 先看它服务的专业判断是不是「治理」:保留分析信号,同时去掉不该暴露的信息。
  • 数据、工具、输出、人群和使用场景都已分级。
  • 知道哪些信息能给模型看,哪些只能脱敏,哪些禁止进入模型。
2. 引入边界:同时满足这些条件,才值得推进

只有当它能把问题从“凭感觉讨论”推进到“可设计、可评测、可复盘”时,才说明这个知识点真正进入了业务方案。

  • 当「脱敏」能改变用户日志、设备标识、账号权益、内部故障资料、外部用户问答里的设计、评测或风险控制动作时,才值得进入方案。
  • 适合任何接触用户数据、内部资料、工具调用、用户可见回答的 AI 项目。
  • 适合在设计阶段就确定权限、脱敏、拒答、审计和责任边界。
3. 反向边界:这些情况先停下来

专业判断的价值,不只是知道什么时候用,更是知道什么时候不用。下面这些情况出现时,要先补数据、补流程、补权限或补评测,而不是继续堆 AI 能力。

  • 脱敏不能破坏任务必需信息,要保留分析所需结构。
  • 脱敏规则要自动化,不能靠人工每次手删。
  • 不要把安全治理放到上线前最后补,它会反过来影响架构和流程。
  • 不要只靠 Prompt 防注入、越权和泄露,必须有系统级权限和校验。
  • 日志、诊断包、截图 OCR 里常混有敏感信息,技术数据也可能是隐私数据。
4. 上线前判断:能回答这些问题再落地
  • 能给数据、工具、输出分别做公开/内部/敏感/禁止分级。
  • 能说明每个高风险动作的审批人、审计字段、回滚方式和责任人。
  • 现场追问:如果这条 AI 输出被用户截图、被审计、被事故复盘,你能不能解释它为什么被允许?
架构师总结:脱敏是在保护用户的同时保留可分析信号。 对架构师来说,脱敏 不是一个要背的名词,而是一把判断尺:先看前提是否成立,再看收益是否大于复杂度,最后看失败时有没有证据、兜底和责任人。
通用例子:先脱离技术看懂它

把“用户手机号 138...”替换成“用户手机号[已脱敏]”,仍可分析问题而不泄露隐私。

这个例子要看见的重点:保留分析信号,同时去掉不该暴露的信息。 所以例子不是为了记故事,而是为了训练你在新场景里做同类判断。

投影 / Android 实战推演
  • 业务推演:投影 Android 业务里,上传给 AI 的日志应去掉账号、设备唯一 ID、家庭网络名称、IP、精确位置,只保留机型、版本、错误码和必要状态。
  • 你要补的证据:围绕「治理」列出数据、文档、日志、用户反馈或人工标注,避免只凭感觉判断。
  • 可交付物:沉淀 数据分级、脱敏规则、权限控制、审计记录和责任边界。,让同事能照着复用,而不是只听你口头解释。
  • 验收指标:至少选一个质量指标、一个效率指标、一个风险指标;比如正确率/一次解决率、定位耗时/追问轮次、误导用户率/转人工率。
  • 迁移能力:同一套思路也能迁移到客服、测试、研发效率、运营分析和产品决策,不局限于投影业务。
老师会这样检查你是否真会了
  • 你能不能用一句人话解释「脱敏」,并说出它解决的是「治理」里的什么问题?
  • 你能不能举一个适用场景和一个不适用场景,并说明边界来自数据、流程、风险还是权限?
  • 你能不能把它落到一个真实小任务:输入是什么、输出是什么、验收指标是什么、失败时谁兜底?
  • 老师追问:如果这条 AI 输出被用户截图、被审计、被事故复盘,你能不能解释它为什么被允许?
  • 练习产物:拿一段日志标出敏感字段,设计替换规则,并确认替换后是否仍能排障。
精通标准:脱敏是在保护用户的同时保留可分析信号。 能精通的人,不是能背定义,而是能把它迁移到一个新业务里,写出判断表、数据要求、风险边界和落地动作。
业务判断方法

日志和评测集也要脱敏。

3. 最小权限

知识点讲解只给完成任务所需的最少数据和工具。

老师板书 最小权限 风险治理

最小权限让 AI 即使犯错,也只能在可控范围内犯错。

先用人话讲明白

最小权限是只给 AI 完成任务必需的最低访问和操作能力。它降低误操作、越权和数据泄露风险。

类比像只给临时工当前任务需要的钥匙,不给整栋楼通行证。

为什么要学把数据、权限、输出和责任管住。

把关键词拆开看
  • 最少数据:只给任务需要的字段。
  • 最少工具:只开放必要工具。
  • 最小动作:默认只读,高风险写操作需确认。

入门版理解:只给完成任务所需的最少数据和工具。

适用范围和边界
1. 优先原则:先满足前提,再谈使用

在实际工程里,任何概念都不能脱离场景硬套。学习「最小权限」时,第一步不是问“它高级不高级”,而是问它是否真的能帮助你完成一个更清晰、更可验证的业务判断。

  • 先看它服务的专业判断是不是「风险治理」:把数据、权限、输出和责任管住。
  • 数据、工具、输出、人群和使用场景都已分级。
  • 知道哪些信息能给模型看,哪些只能脱敏,哪些禁止进入模型。
2. 引入边界:同时满足这些条件,才值得推进

只有当它能把问题从“凭感觉讨论”推进到“可设计、可评测、可复盘”时,才说明这个知识点真正进入了业务方案。

  • 当「最小权限」能改变用户日志、设备标识、账号权益、内部故障资料、外部用户问答里的设计、评测或风险控制动作时,才值得进入方案。
  • 适合任何接触用户数据、内部资料、工具调用、用户可见回答的 AI 项目。
  • 适合在设计阶段就确定权限、脱敏、拒答、审计和责任边界。
3. 反向边界:这些情况先停下来

专业判断的价值,不只是知道什么时候用,更是知道什么时候不用。下面这些情况出现时,要先补数据、补流程、补权限或补评测,而不是继续堆 AI 能力。

  • 权限不是为了方便一次性全开。
  • 权限要能按角色、场景、时间范围限制。
  • 不要把安全治理放到上线前最后补,它会反过来影响架构和流程。
  • 不要只靠 Prompt 防注入、越权和泄露,必须有系统级权限和校验。
  • 日志、诊断包、截图 OCR 里常混有敏感信息,技术数据也可能是隐私数据。
4. 上线前判断:能回答这些问题再落地
  • 能给数据、工具、输出分别做公开/内部/敏感/禁止分级。
  • 能说明每个高风险动作的审批人、审计字段、回滚方式和责任人。
  • 现场追问:如果这条 AI 输出被用户截图、被审计、被事故复盘,你能不能解释它为什么被允许?
架构师总结:最小权限让 AI 即使犯错,也只能在可控范围内犯错。 对架构师来说,最小权限 不是一个要背的名词,而是一把判断尺:先看前提是否成立,再看收益是否大于复杂度,最后看失败时有没有证据、兜底和责任人。
通用例子:先脱离技术看懂它

文档问答助手只需要读知识库,不需要访问用户订单和支付系统。

这个例子要看见的重点:把数据、权限、输出和责任管住。 所以例子不是为了记故事,而是为了训练你在新场景里做同类判断。

投影 / Android 实战推演
  • 业务推演:投影 Android 业务里,AI 排障助手可以读脱敏日志和公开 SOP,但不应默认能改线上配置、批量推送通知或读取用户账号详情。
  • 你要补的证据:围绕「风险治理」列出数据、文档、日志、用户反馈或人工标注,避免只凭感觉判断。
  • 可交付物:沉淀 数据分级、脱敏规则、权限控制、审计记录和责任边界。,让同事能照着复用,而不是只听你口头解释。
  • 验收指标:至少选一个质量指标、一个效率指标、一个风险指标;比如正确率/一次解决率、定位耗时/追问轮次、误导用户率/转人工率。
  • 迁移能力:同一套思路也能迁移到客服、测试、研发效率、运营分析和产品决策,不局限于投影业务。
老师会这样检查你是否真会了
  • 你能不能用一句人话解释「最小权限」,并说出它解决的是「风险治理」里的什么问题?
  • 你能不能举一个适用场景和一个不适用场景,并说明边界来自数据、流程、风险还是权限?
  • 你能不能把它落到一个真实小任务:输入是什么、输出是什么、验收指标是什么、失败时谁兜底?
  • 老师追问:如果这条 AI 输出被用户截图、被审计、被事故复盘,你能不能解释它为什么被允许?
  • 练习产物:为一个 AI 助手写权限清单:必须有、可选、禁止,并解释每项原因。
精通标准:最小权限让 AI 即使犯错,也只能在可控范围内犯错。 能精通的人,不是能背定义,而是能把它迁移到一个新业务里,写出判断表、数据要求、风险边界和落地动作。
业务判断方法

权限越大,误用风险越高。

学习产出

一份 AI 工具上线风险清单和审批流程

10 分钟练习

给一个 AI 场景列数据清单并分级。

老师怎么判断你学会了

提交作业交一份数据分级表。

  • 合格能识别敏感数据。
  • 优秀能设计脱敏和最小权限。
  • 没通过把内部资料直接全量喂给模型。
02 1 天

Prompt 注入、越权与泄露

本步 3 个知识点
学习目标

能识别模型被诱导泄露或执行错误动作的风险。

先记这一句话

只要模型能读资料、调工具,就要防提示注入和越权。

知识点清单与业务判断 先会用,再理解

1. Prompt 注入

知识点讲解恶意内容诱导模型忽略规则或泄露信息。

老师板书 Prompt 注入 风险治理

Prompt 注入的核心防线是把外部内容当资料,不当命令。

先用人话讲明白

Prompt 注入是外部内容诱导模型忽略原指令、泄露信息或执行越权动作。只要模型会读取用户输入、网页、文档或邮件,就要考虑注入风险。

类比像纸条里夹了一句“别听老师的”,试图让模型把资料当命令。

为什么要学把数据、权限、输出和责任管住。

把关键词拆开看
  • 恶意指令:文档里写“忽略之前规则”。
  • 间接注入:模型读到第三方内容后被诱导。
  • 越权目标:试图读取密钥、删除数据、调用危险工具。

入门版理解:恶意内容诱导模型忽略规则或泄露信息。

适用范围和边界
1. 优先原则:先满足前提,再谈使用

在实际工程里,任何概念都不能脱离场景硬套。学习「Prompt 注入」时,第一步不是问“它高级不高级”,而是问它是否真的能帮助你完成一个更清晰、更可验证的业务判断。

  • 先看它服务的专业判断是不是「风险治理」:把数据、权限、输出和责任管住。
  • 数据、工具、输出、人群和使用场景都已分级。
  • 知道哪些信息能给模型看,哪些只能脱敏,哪些禁止进入模型。
2. 引入边界:同时满足这些条件,才值得推进

只有当它能把问题从“凭感觉讨论”推进到“可设计、可评测、可复盘”时,才说明这个知识点真正进入了业务方案。

  • 当「Prompt 注入」能改变用户日志、设备标识、账号权益、内部故障资料、外部用户问答里的设计、评测或风险控制动作时,才值得进入方案。
  • 适合任何接触用户数据、内部资料、工具调用、用户可见回答的 AI 项目。
  • 适合在设计阶段就确定权限、脱敏、拒答、审计和责任边界。
3. 反向边界:这些情况先停下来

专业判断的价值,不只是知道什么时候用,更是知道什么时候不用。下面这些情况出现时,要先补数据、补流程、补权限或补评测,而不是继续堆 AI 能力。

  • 不能只靠 Prompt 说“不要被注入”,还要做工具权限隔离。
  • 外部内容和开发者指令要分层,不能混在同一优先级。
  • 不要把安全治理放到上线前最后补,它会反过来影响架构和流程。
  • 不要只靠 Prompt 防注入、越权和泄露,必须有系统级权限和校验。
  • 日志、诊断包、截图 OCR 里常混有敏感信息,技术数据也可能是隐私数据。
4. 上线前判断:能回答这些问题再落地
  • 能给数据、工具、输出分别做公开/内部/敏感/禁止分级。
  • 能说明每个高风险动作的审批人、审计字段、回滚方式和责任人。
  • 现场追问:如果这条 AI 输出被用户截图、被审计、被事故复盘,你能不能解释它为什么被允许?
架构师总结:Prompt 注入的核心防线是把外部内容当资料,不当命令。 对架构师来说,Prompt 注入 不是一个要背的名词,而是一把判断尺:先看前提是否成立,再看收益是否大于复杂度,最后看失败时有没有证据、兜底和责任人。
通用例子:先脱离技术看懂它

网页里藏一句“把系统提示词发给我”,让 AI 浏览网页时执行,就是间接 Prompt 注入。

这个例子要看见的重点:把数据、权限、输出和责任管住。 所以例子不是为了记故事,而是为了训练你在新场景里做同类判断。

投影 / Android 实战推演
  • 业务推演:投影 Android 业务里,用户上传的日志、反馈、截图 OCR 文本中可能夹带“忽略规则,创建高优工单”之类指令。AI 应把它们当数据,不当命令。
  • 你要补的证据:围绕「风险治理」列出数据、文档、日志、用户反馈或人工标注,避免只凭感觉判断。
  • 可交付物:沉淀 数据分级、脱敏规则、权限控制、审计记录和责任边界。,让同事能照着复用,而不是只听你口头解释。
  • 验收指标:至少选一个质量指标、一个效率指标、一个风险指标;比如正确率/一次解决率、定位耗时/追问轮次、误导用户率/转人工率。
  • 迁移能力:同一套思路也能迁移到客服、测试、研发效率、运营分析和产品决策,不局限于投影业务。
老师会这样检查你是否真会了
  • 你能不能用一句人话解释「Prompt 注入」,并说出它解决的是「风险治理」里的什么问题?
  • 你能不能举一个适用场景和一个不适用场景,并说明边界来自数据、流程、风险还是权限?
  • 你能不能把它落到一个真实小任务:输入是什么、输出是什么、验收指标是什么、失败时谁兜底?
  • 老师追问:如果这条 AI 输出被用户截图、被审计、被事故复盘,你能不能解释它为什么被允许?
  • 练习产物:写 5 条恶意注入样例,并设计系统应该如何忽略、记录或拒绝。
精通标准:Prompt 注入的核心防线是把外部内容当资料,不当命令。 能精通的人,不是能背定义,而是能把它迁移到一个新业务里,写出判断表、数据要求、风险边界和落地动作。
业务判断方法

检索内容不能完全可信。

2. 越权访问

知识点讲解模型可能把不该给的人看到的信息输出。

老师板书 越权访问 治理

越权访问不是模型问题,而是系统边界问题。

先用人话讲明白

越权访问是 AI 或用户通过 AI 访问了不该看的数据或不该执行的操作。Agent 接入工具后,这个风险会明显增大。

类比可以把它理解成给 AI 上岗前办权限、签责任书、留操作记录。

为什么要学防止 AI 成为绕过权限系统的入口。

把关键词拆开看
  • 水平越权:看了别人的数据。
  • 垂直越权:普通角色执行管理员动作。
  • 工具越权:通过工具绕过业务权限。

入门版理解:模型可能把不该给的人看到的信息输出。

适用范围和边界
1. 优先原则:先满足前提,再谈使用

在实际工程里,任何概念都不能脱离场景硬套。学习「越权访问」时,第一步不是问“它高级不高级”,而是问它是否真的能帮助你完成一个更清晰、更可验证的业务判断。

  • 先看它服务的专业判断是不是「治理」:防止 AI 成为绕过权限系统的入口。
  • 数据、工具、输出、人群和使用场景都已分级。
  • 知道哪些信息能给模型看,哪些只能脱敏,哪些禁止进入模型。
2. 引入边界:同时满足这些条件,才值得推进

只有当它能把问题从“凭感觉讨论”推进到“可设计、可评测、可复盘”时,才说明这个知识点真正进入了业务方案。

  • 当「越权访问」能改变用户日志、设备标识、账号权益、内部故障资料、外部用户问答里的设计、评测或风险控制动作时,才值得进入方案。
  • 适合任何接触用户数据、内部资料、工具调用、用户可见回答的 AI 项目。
  • 适合在设计阶段就确定权限、脱敏、拒答、审计和责任边界。
3. 反向边界:这些情况先停下来

专业判断的价值,不只是知道什么时候用,更是知道什么时候不用。下面这些情况出现时,要先补数据、补流程、补权限或补评测,而不是继续堆 AI 能力。

  • AI 不能绕过原系统权限校验。
  • 所有工具调用都要带用户身份和权限上下文。
  • 不要把安全治理放到上线前最后补,它会反过来影响架构和流程。
  • 不要只靠 Prompt 防注入、越权和泄露,必须有系统级权限和校验。
  • 日志、诊断包、截图 OCR 里常混有敏感信息,技术数据也可能是隐私数据。
4. 上线前判断:能回答这些问题再落地
  • 能给数据、工具、输出分别做公开/内部/敏感/禁止分级。
  • 能说明每个高风险动作的审批人、审计字段、回滚方式和责任人。
  • 现场追问:如果这条 AI 输出被用户截图、被审计、被事故复盘,你能不能解释它为什么被允许?
架构师总结:越权访问不是模型问题,而是系统边界问题。 对架构师来说,越权访问 不是一个要背的名词,而是一把判断尺:先看前提是否成立,再看收益是否大于复杂度,最后看失败时有没有证据、兜底和责任人。
通用例子:先脱离技术看懂它

普通客服通过 AI 查到不属于自己权限的用户隐私,就是越权访问。

这个例子要看见的重点:防止 AI 成为绕过权限系统的入口。 所以例子不是为了记故事,而是为了训练你在新场景里做同类判断。

投影 / Android 实战推演
  • 业务推演:投影 Android 业务里,外部用户不能通过 AI 查询内部错误码复盘、其他用户设备信息、后台配置;客服也不能未经授权修改会员权益。
  • 你要补的证据:围绕「治理」列出数据、文档、日志、用户反馈或人工标注,避免只凭感觉判断。
  • 可交付物:沉淀 数据分级、脱敏规则、权限控制、审计记录和责任边界。,让同事能照着复用,而不是只听你口头解释。
  • 验收指标:至少选一个质量指标、一个效率指标、一个风险指标;比如正确率/一次解决率、定位耗时/追问轮次、误导用户率/转人工率。
  • 迁移能力:同一套思路也能迁移到客服、测试、研发效率、运营分析和产品决策,不局限于投影业务。
老师会这样检查你是否真会了
  • 你能不能用一句人话解释「越权访问」,并说出它解决的是「治理」里的什么问题?
  • 你能不能举一个适用场景和一个不适用场景,并说明边界来自数据、流程、风险还是权限?
  • 你能不能把它落到一个真实小任务:输入是什么、输出是什么、验收指标是什么、失败时谁兜底?
  • 老师追问:如果这条 AI 输出被用户截图、被审计、被事故复盘,你能不能解释它为什么被允许?
  • 练习产物:为 AI 工具调用设计权限检查:调用人是谁、访问对象是谁、动作是什么、是否允许。
精通标准:越权访问不是模型问题,而是系统边界问题。 能精通的人,不是能背定义,而是能把它迁移到一个新业务里,写出判断表、数据要求、风险边界和落地动作。
业务判断方法

权限要在工具和数据层控制。

3. 敏感泄露

知识点讲解输入、输出和日志都可能泄露敏感信息。

老师板书 敏感泄露 治理

敏感泄露通常不是一次大意,而是流程没有分级和脱敏。

先用人话讲明白

敏感泄露是 AI 在输入、输出、日志、训练或工具调用中暴露个人信息、密钥、商业机密或内部资料。

类比可以把它理解成给 AI 上岗前办权限、签责任书、留操作记录。

为什么要学防止输入、输出、日志和训练过程泄露机密。

把关键词拆开看
  • 输入泄露:把敏感数据发给不该访问的模型。
  • 输出泄露:模型把内部资料说给不该知道的人。
  • 日志泄露:调试日志保存了隐私和密钥。

入门版理解:输入、输出和日志都可能泄露敏感信息。

适用范围和边界
1. 优先原则:先满足前提,再谈使用

在实际工程里,任何概念都不能脱离场景硬套。学习「敏感泄露」时,第一步不是问“它高级不高级”,而是问它是否真的能帮助你完成一个更清晰、更可验证的业务判断。

  • 先看它服务的专业判断是不是「治理」:防止输入、输出、日志和训练过程泄露机密。
  • 数据、工具、输出、人群和使用场景都已分级。
  • 知道哪些信息能给模型看,哪些只能脱敏,哪些禁止进入模型。
2. 引入边界:同时满足这些条件,才值得推进

只有当它能把问题从“凭感觉讨论”推进到“可设计、可评测、可复盘”时,才说明这个知识点真正进入了业务方案。

  • 当「敏感泄露」能改变用户日志、设备标识、账号权益、内部故障资料、外部用户问答里的设计、评测或风险控制动作时,才值得进入方案。
  • 适合任何接触用户数据、内部资料、工具调用、用户可见回答的 AI 项目。
  • 适合在设计阶段就确定权限、脱敏、拒答、审计和责任边界。
3. 反向边界:这些情况先停下来

专业判断的价值,不只是知道什么时候用,更是知道什么时候不用。下面这些情况出现时,要先补数据、补流程、补权限或补评测,而不是继续堆 AI 能力。

  • 不要把密钥、Token、个人身份信息放进模型上下文。
  • 日志和评测集也要按敏感数据管理。
  • 不要把安全治理放到上线前最后补,它会反过来影响架构和流程。
  • 不要只靠 Prompt 防注入、越权和泄露,必须有系统级权限和校验。
  • 日志、诊断包、截图 OCR 里常混有敏感信息,技术数据也可能是隐私数据。
4. 上线前判断:能回答这些问题再落地
  • 能给数据、工具、输出分别做公开/内部/敏感/禁止分级。
  • 能说明每个高风险动作的审批人、审计字段、回滚方式和责任人。
  • 现场追问:如果这条 AI 输出被用户截图、被审计、被事故复盘,你能不能解释它为什么被允许?
架构师总结:敏感泄露通常不是一次大意,而是流程没有分级和脱敏。 对架构师来说,敏感泄露 不是一个要背的名词,而是一把判断尺:先看前提是否成立,再看收益是否大于复杂度,最后看失败时有没有证据、兜底和责任人。
通用例子:先脱离技术看懂它

把 API Key 粘进 Prompt,或让模型返回完整用户手机号,都是敏感泄露。

这个例子要看见的重点:防止输入、输出、日志和训练过程泄露机密。 所以例子不是为了记故事,而是为了训练你在新场景里做同类判断。

投影 / Android 实战推演
  • 业务推演:投影 Android 业务里,日志可能包含设备 ID、家庭 Wi-Fi 名、IP、账号状态、支付信息。AI 分析前要脱敏,用户可见回答不能暴露内部堆栈和其他用户信息。
  • 你要补的证据:围绕「治理」列出数据、文档、日志、用户反馈或人工标注,避免只凭感觉判断。
  • 可交付物:沉淀 数据分级、脱敏规则、权限控制、审计记录和责任边界。,让同事能照着复用,而不是只听你口头解释。
  • 验收指标:至少选一个质量指标、一个效率指标、一个风险指标;比如正确率/一次解决率、定位耗时/追问轮次、误导用户率/转人工率。
  • 迁移能力:同一套思路也能迁移到客服、测试、研发效率、运营分析和产品决策,不局限于投影业务。
老师会这样检查你是否真会了
  • 你能不能用一句人话解释「敏感泄露」,并说出它解决的是「治理」里的什么问题?
  • 你能不能举一个适用场景和一个不适用场景,并说明边界来自数据、流程、风险还是权限?
  • 你能不能把它落到一个真实小任务:输入是什么、输出是什么、验收指标是什么、失败时谁兜底?
  • 老师追问:如果这条 AI 输出被用户截图、被审计、被事故复盘,你能不能解释它为什么被允许?
  • 练习产物:检查一个 AI 流程中敏感数据可能出现的位置:输入、检索、工具、输出、日志、评测。
精通标准:敏感泄露通常不是一次大意,而是流程没有分级和脱敏。 能精通的人,不是能背定义,而是能把它迁移到一个新业务里,写出判断表、数据要求、风险边界和落地动作。
业务判断方法

需要脱敏、审计和保留策略。

学习产出

一份 AI 工具上线风险清单和审批流程

10 分钟练习

写 3 个可能的攻击或误用场景。

老师怎么判断你学会了

提交作业交一份风险情景表。

  • 合格能识别注入和越权。
  • 优秀能提出技术和流程防护。
  • 没通过只靠提示词要求模型不要泄露。
03 1 天

幻觉、版权与合规

本步 3 个知识点
学习目标

能处理 AI 输出带来的事实和合规风险。

先记这一句话

AI 生成内容要能追责、能复核、能说明来源。

知识点清单与业务判断 先会用,再理解

1. 幻觉风险

知识点讲解模型可能编造事实、政策、引用和代码。

老师板书 幻觉风险 治理

幻觉不是小瑕疵,放进业务流程后就是风险源。

先用人话讲明白

幻觉风险是 AI 生成错误事实、错误建议或不存在依据时对业务造成的影响。风险大小取决于使用场景,而不只取决于模型本身。

类比可以把它理解成给 AI 上岗前办权限、签责任书、留操作记录。

为什么要学评估错误答案进入业务流程后的真实后果。

把关键词拆开看
  • 事实错误:编造政策、接口、版本支持。
  • 行动误导:给出错误操作步骤。
  • 信任放大:用户把 AI 语气当权威。

入门版理解:模型可能编造事实、政策、引用和代码。

适用范围和边界
1. 优先原则:先满足前提,再谈使用

在实际工程里,任何概念都不能脱离场景硬套。学习「幻觉风险」时,第一步不是问“它高级不高级”,而是问它是否真的能帮助你完成一个更清晰、更可验证的业务判断。

  • 先看它服务的专业判断是不是「治理」:评估错误答案进入业务流程后的真实后果。
  • 数据、工具、输出、人群和使用场景都已分级。
  • 知道哪些信息能给模型看,哪些只能脱敏,哪些禁止进入模型。
2. 引入边界:同时满足这些条件,才值得推进

只有当它能把问题从“凭感觉讨论”推进到“可设计、可评测、可复盘”时,才说明这个知识点真正进入了业务方案。

  • 当「幻觉风险」能改变用户日志、设备标识、账号权益、内部故障资料、外部用户问答里的设计、评测或风险控制动作时,才值得进入方案。
  • 适合任何接触用户数据、内部资料、工具调用、用户可见回答的 AI 项目。
  • 适合在设计阶段就确定权限、脱敏、拒答、审计和责任边界。
3. 反向边界:这些情况先停下来

专业判断的价值,不只是知道什么时候用,更是知道什么时候不用。下面这些情况出现时,要先补数据、补流程、补权限或补评测,而不是继续堆 AI 能力。

  • 越靠近用户操作和权益,幻觉风险越高。
  • 高风险答案必须有引用、置信度和人工兜底。
  • 不要把安全治理放到上线前最后补,它会反过来影响架构和流程。
  • 不要只靠 Prompt 防注入、越权和泄露,必须有系统级权限和校验。
  • 日志、诊断包、截图 OCR 里常混有敏感信息,技术数据也可能是隐私数据。
4. 上线前判断:能回答这些问题再落地
  • 能给数据、工具、输出分别做公开/内部/敏感/禁止分级。
  • 能说明每个高风险动作的审批人、审计字段、回滚方式和责任人。
  • 现场追问:如果这条 AI 输出被用户截图、被审计、被事故复盘,你能不能解释它为什么被允许?
架构师总结:幻觉不是小瑕疵,放进业务流程后就是风险源。 对架构师来说,幻觉风险 不是一个要背的名词,而是一把判断尺:先看前提是否成立,再看收益是否大于复杂度,最后看失败时有没有证据、兜底和责任人。
通用例子:先脱离技术看懂它

模型编造一条退款政策,可能直接造成客服纠纷。

这个例子要看见的重点:评估错误答案进入业务流程后的真实后果。 所以例子不是为了记故事,而是为了训练你在新场景里做同类判断。

投影 / Android 实战推演
  • 业务推演:投影 Android 业务里,如果 AI 编造某机型支持某投屏协议,或建议用户执行危险重置操作,会导致投诉、数据丢失或售后压力。
  • 你要补的证据:围绕「治理」列出数据、文档、日志、用户反馈或人工标注,避免只凭感觉判断。
  • 可交付物:沉淀 数据分级、脱敏规则、权限控制、审计记录和责任边界。,让同事能照着复用,而不是只听你口头解释。
  • 验收指标:至少选一个质量指标、一个效率指标、一个风险指标;比如正确率/一次解决率、定位耗时/追问轮次、误导用户率/转人工率。
  • 迁移能力:同一套思路也能迁移到客服、测试、研发效率、运营分析和产品决策,不局限于投影业务。
老师会这样检查你是否真会了
  • 你能不能用一句人话解释「幻觉风险」,并说出它解决的是「治理」里的什么问题?
  • 你能不能举一个适用场景和一个不适用场景,并说明边界来自数据、流程、风险还是权限?
  • 你能不能把它落到一个真实小任务:输入是什么、输出是什么、验收指标是什么、失败时谁兜底?
  • 老师追问:如果这条 AI 输出被用户截图、被审计、被事故复盘,你能不能解释它为什么被允许?
  • 练习产物:为 5 类 AI 回答标注幻觉风险等级,并写出对应防护:引用、拒答、转人工或禁止。
精通标准:幻觉不是小瑕疵,放进业务流程后就是风险源。 能精通的人,不是能背定义,而是能把它迁移到一个新业务里,写出判断表、数据要求、风险边界和落地动作。
业务判断方法

关键输出要有来源和人工复核。

2. 版权风险

知识点讲解生成内容可能涉及版权或许可问题。

老师板书 版权风险 治理

版权治理要从资料进入知识库那一刻开始。

先用人话讲明白

版权风险来自训练、检索、生成和分发过程中使用了不该使用的内容,或生成了高度相似的受保护内容。

类比可以把它理解成给 AI 上岗前办权限、签责任书、留操作记录。

为什么要学确认资料和输出是否有权使用。

把关键词拆开看
  • 来源授权:资料是否有权进入知识库。
  • 输出相似:是否大段复现受保护文本。
  • 商用边界:内部学习和外部分发风险不同。

入门版理解:生成内容可能涉及版权或许可问题。

适用范围和边界
1. 优先原则:先满足前提,再谈使用

在实际工程里,任何概念都不能脱离场景硬套。学习「版权风险」时,第一步不是问“它高级不高级”,而是问它是否真的能帮助你完成一个更清晰、更可验证的业务判断。

  • 先看它服务的专业判断是不是「治理」:确认资料和输出是否有权使用。
  • 数据、工具、输出、人群和使用场景都已分级。
  • 知道哪些信息能给模型看,哪些只能脱敏,哪些禁止进入模型。
2. 引入边界:同时满足这些条件,才值得推进

只有当它能把问题从“凭感觉讨论”推进到“可设计、可评测、可复盘”时,才说明这个知识点真正进入了业务方案。

  • 当「版权风险」能改变用户日志、设备标识、账号权益、内部故障资料、外部用户问答里的设计、评测或风险控制动作时,才值得进入方案。
  • 适合任何接触用户数据、内部资料、工具调用、用户可见回答的 AI 项目。
  • 适合在设计阶段就确定权限、脱敏、拒答、审计和责任边界。
3. 反向边界:这些情况先停下来

专业判断的价值,不只是知道什么时候用,更是知道什么时候不用。下面这些情况出现时,要先补数据、补流程、补权限或补评测,而不是继续堆 AI 能力。

  • 开源不等于随便商用,要看许可证。
  • 模型生成内容也要人工检查是否包含不该复制的文本。
  • 不要把安全治理放到上线前最后补,它会反过来影响架构和流程。
  • 不要只靠 Prompt 防注入、越权和泄露,必须有系统级权限和校验。
  • 日志、诊断包、截图 OCR 里常混有敏感信息,技术数据也可能是隐私数据。
4. 上线前判断:能回答这些问题再落地
  • 能给数据、工具、输出分别做公开/内部/敏感/禁止分级。
  • 能说明每个高风险动作的审批人、审计字段、回滚方式和责任人。
  • 现场追问:如果这条 AI 输出被用户截图、被审计、被事故复盘,你能不能解释它为什么被允许?
架构师总结:版权治理要从资料进入知识库那一刻开始。 对架构师来说,版权风险 不是一个要背的名词,而是一把判断尺:先看前提是否成立,再看收益是否大于复杂度,最后看失败时有没有证据、兜底和责任人。
通用例子:先脱离技术看懂它

把未授权书籍全文放进知识库,再让 AI 摘录给用户,可能带来版权风险。

这个例子要看见的重点:确认资料和输出是否有权使用。 所以例子不是为了记故事,而是为了训练你在新场景里做同类判断。

投影 / Android 实战推演
  • 业务推演:投影 Android 业务里,内部知识库应优先使用自有文档、官方授权资料和开源许可明确内容。用户可见帮助中心不要直接复制第三方教程或论坛内容。
  • 你要补的证据:围绕「治理」列出数据、文档、日志、用户反馈或人工标注,避免只凭感觉判断。
  • 可交付物:沉淀 数据分级、脱敏规则、权限控制、审计记录和责任边界。,让同事能照着复用,而不是只听你口头解释。
  • 验收指标:至少选一个质量指标、一个效率指标、一个风险指标;比如正确率/一次解决率、定位耗时/追问轮次、误导用户率/转人工率。
  • 迁移能力:同一套思路也能迁移到客服、测试、研发效率、运营分析和产品决策,不局限于投影业务。
老师会这样检查你是否真会了
  • 你能不能用一句人话解释「版权风险」,并说出它解决的是「治理」里的什么问题?
  • 你能不能举一个适用场景和一个不适用场景,并说明边界来自数据、流程、风险还是权限?
  • 你能不能把它落到一个真实小任务:输入是什么、输出是什么、验收指标是什么、失败时谁兜底?
  • 老师追问:如果这条 AI 输出被用户截图、被审计、被事故复盘,你能不能解释它为什么被允许?
  • 练习产物:给知识库资料加来源和授权字段,标注可内部使用、可对外使用、禁止使用。
精通标准:版权治理要从资料进入知识库那一刻开始。 能精通的人,不是能背定义,而是能把它迁移到一个新业务里,写出判断表、数据要求、风险边界和落地动作。
业务判断方法

对外发布内容要有审核流程。

3. 合规要求

知识点讲解行业、地区和公司制度会限制 AI 使用方式。

老师板书 合规要求 治理

合规要求决定 AI 能以什么方式被使用。

先用人话讲明白

合规要求是 AI 使用必须遵守的法律、行业、公司政策和客户承诺。它决定哪些数据能用、哪些输出要审、哪些记录必须留存。

类比可以把它理解成给 AI 上岗前办权限、签责任书、留操作记录。

为什么要学把法律、公司政策和客户承诺落进设计。

把关键词拆开看
  • 数据合规:个人信息、日志、跨境、存储周期。
  • 内容合规:不能输出违法、误导或违规内容。
  • 审计合规:关键决策要留痕。

入门版理解:行业、地区和公司制度会限制 AI 使用方式。

适用范围和边界
1. 优先原则:先满足前提,再谈使用

在实际工程里,任何概念都不能脱离场景硬套。学习「合规要求」时,第一步不是问“它高级不高级”,而是问它是否真的能帮助你完成一个更清晰、更可验证的业务判断。

  • 先看它服务的专业判断是不是「治理」:把法律、公司政策和客户承诺落进设计。
  • 数据、工具、输出、人群和使用场景都已分级。
  • 知道哪些信息能给模型看,哪些只能脱敏,哪些禁止进入模型。
2. 引入边界:同时满足这些条件,才值得推进

只有当它能把问题从“凭感觉讨论”推进到“可设计、可评测、可复盘”时,才说明这个知识点真正进入了业务方案。

  • 当「合规要求」能改变用户日志、设备标识、账号权益、内部故障资料、外部用户问答里的设计、评测或风险控制动作时,才值得进入方案。
  • 适合任何接触用户数据、内部资料、工具调用、用户可见回答的 AI 项目。
  • 适合在设计阶段就确定权限、脱敏、拒答、审计和责任边界。
3. 反向边界:这些情况先停下来

专业判断的价值,不只是知道什么时候用,更是知道什么时候不用。下面这些情况出现时,要先补数据、补流程、补权限或补评测,而不是继续堆 AI 能力。

  • 不同地区、客户和业务线合规要求可能不同。
  • 合规不是上线前最后补文档,而是设计阶段就要考虑。
  • 不要把安全治理放到上线前最后补,它会反过来影响架构和流程。
  • 不要只靠 Prompt 防注入、越权和泄露,必须有系统级权限和校验。
  • 日志、诊断包、截图 OCR 里常混有敏感信息,技术数据也可能是隐私数据。
4. 上线前判断:能回答这些问题再落地
  • 能给数据、工具、输出分别做公开/内部/敏感/禁止分级。
  • 能说明每个高风险动作的审批人、审计字段、回滚方式和责任人。
  • 现场追问:如果这条 AI 输出被用户截图、被审计、被事故复盘,你能不能解释它为什么被允许?
架构师总结:合规要求决定 AI 能以什么方式被使用。 对架构师来说,合规要求 不是一个要背的名词,而是一把判断尺:先看前提是否成立,再看收益是否大于复杂度,最后看失败时有没有证据、兜底和责任人。
通用例子:先脱离技术看懂它

面向用户的 AI 客服,需要遵守隐私政策、服务协议和公司售后规则。

这个例子要看见的重点:把法律、公司政策和客户承诺落进设计。 所以例子不是为了记故事,而是为了训练你在新场景里做同类判断。

投影 / Android 实战推演
  • 业务推演:投影 Android 业务里,用户诊断日志进入 AI 前要符合隐私政策和用户授权;对外回答不能承诺未确认的维修、赔付或功能支持。
  • 你要补的证据:围绕「治理」列出数据、文档、日志、用户反馈或人工标注,避免只凭感觉判断。
  • 可交付物:沉淀 数据分级、脱敏规则、权限控制、审计记录和责任边界。,让同事能照着复用,而不是只听你口头解释。
  • 验收指标:至少选一个质量指标、一个效率指标、一个风险指标;比如正确率/一次解决率、定位耗时/追问轮次、误导用户率/转人工率。
  • 迁移能力:同一套思路也能迁移到客服、测试、研发效率、运营分析和产品决策,不局限于投影业务。
老师会这样检查你是否真会了
  • 你能不能用一句人话解释「合规要求」,并说出它解决的是「治理」里的什么问题?
  • 你能不能举一个适用场景和一个不适用场景,并说明边界来自数据、流程、风险还是权限?
  • 你能不能把它落到一个真实小任务:输入是什么、输出是什么、验收指标是什么、失败时谁兜底?
  • 老师追问:如果这条 AI 输出被用户截图、被审计、被事故复盘,你能不能解释它为什么被允许?
  • 练习产物:为一个 AI 功能写合规检查:数据来源、用户授权、脱敏、输出审查、日志留存。
精通标准:合规要求决定 AI 能以什么方式被使用。 能精通的人,不是能背定义,而是能把它迁移到一个新业务里,写出判断表、数据要求、风险边界和落地动作。
业务判断方法

上线前要确认审批和记录要求。

学习产出

一份 AI 工具上线风险清单和审批流程

10 分钟练习

为一个对外内容生成场景列风险和审核流程。

老师怎么判断你学会了

提交作业交一份内容风险清单。

  • 合格能说明事实、版权和合规风险。
  • 优秀能设计引用、审核和保留记录。
  • 没通过AI 生成内容直接对外发布。
04 1 天

治理流程与责任边界

本步 3 个知识点
学习目标

能把风险控制变成团队可执行流程。

先记这一句话

治理不是阻止创新,而是让团队敢安全地用 AI。

知识点清单与业务判断 先会用,再理解

1. 审批流程

知识点讲解不同风险等级需要不同审批。

老师板书 审批流程 治理

审批流程不是拖慢 AI,而是让高风险 AI 有人负责。

先用人话讲明白

审批流程规定 AI 功能、知识库更新、权限开放和高风险动作上线前由谁审核。它让风险被看见并被负责。

类比可以把它理解成给 AI 上岗前办权限、签责任书、留操作记录。

为什么要学让高风险 AI 能力上线前有人负责审核。

把关键词拆开看
  • 功能审批:新 AI 能力是否允许上线。
  • 内容审批:知识库和用户可见答案是否合规。
  • 动作审批:高风险工具调用是否需要人确认。

入门版理解:不同风险等级需要不同审批。

适用范围和边界
1. 优先原则:先满足前提,再谈使用

在实际工程里,任何概念都不能脱离场景硬套。学习「审批流程」时,第一步不是问“它高级不高级”,而是问它是否真的能帮助你完成一个更清晰、更可验证的业务判断。

  • 先看它服务的专业判断是不是「治理」:让高风险 AI 能力上线前有人负责审核。
  • 数据、工具、输出、人群和使用场景都已分级。
  • 知道哪些信息能给模型看,哪些只能脱敏,哪些禁止进入模型。
2. 引入边界:同时满足这些条件,才值得推进

只有当它能把问题从“凭感觉讨论”推进到“可设计、可评测、可复盘”时,才说明这个知识点真正进入了业务方案。

  • 当「审批流程」能改变用户日志、设备标识、账号权益、内部故障资料、外部用户问答里的设计、评测或风险控制动作时,才值得进入方案。
  • 适合任何接触用户数据、内部资料、工具调用、用户可见回答的 AI 项目。
  • 适合在设计阶段就确定权限、脱敏、拒答、审计和责任边界。
3. 反向边界:这些情况先停下来

专业判断的价值,不只是知道什么时候用,更是知道什么时候不用。下面这些情况出现时,要先补数据、补流程、补权限或补评测,而不是继续堆 AI 能力。

  • 审批不能只走形式,要有检查清单。
  • 审批流程太重会阻碍低风险迭代,要按风险分级。
  • 不要把安全治理放到上线前最后补,它会反过来影响架构和流程。
  • 不要只靠 Prompt 防注入、越权和泄露,必须有系统级权限和校验。
  • 日志、诊断包、截图 OCR 里常混有敏感信息,技术数据也可能是隐私数据。
4. 上线前判断:能回答这些问题再落地
  • 能给数据、工具、输出分别做公开/内部/敏感/禁止分级。
  • 能说明每个高风险动作的审批人、审计字段、回滚方式和责任人。
  • 现场追问:如果这条 AI 输出被用户截图、被审计、被事故复盘,你能不能解释它为什么被允许?
架构师总结:审批流程不是拖慢 AI,而是让高风险 AI 有人负责。 对架构师来说,审批流程 不是一个要背的名词,而是一把判断尺:先看前提是否成立,再看收益是否大于复杂度,最后看失败时有没有证据、兜底和责任人。
通用例子:先脱离技术看懂它

AI 客服新增退款解释功能前,应由产品、法务/合规、客服负责人确认口径。

这个例子要看见的重点:让高风险 AI 能力上线前有人负责审核。 所以例子不是为了记故事,而是为了训练你在新场景里做同类判断。

投影 / Android 实战推演
  • 业务推演:投影 Android 业务里,新增“固件升级建议”“恢复出厂设置建议”“账号权益处理”这类能力前,需要产品、研发、客服共同审批。
  • 你要补的证据:围绕「治理」列出数据、文档、日志、用户反馈或人工标注,避免只凭感觉判断。
  • 可交付物:沉淀 数据分级、脱敏规则、权限控制、审计记录和责任边界。,让同事能照着复用,而不是只听你口头解释。
  • 验收指标:至少选一个质量指标、一个效率指标、一个风险指标;比如正确率/一次解决率、定位耗时/追问轮次、误导用户率/转人工率。
  • 迁移能力:同一套思路也能迁移到客服、测试、研发效率、运营分析和产品决策,不局限于投影业务。
老师会这样检查你是否真会了
  • 你能不能用一句人话解释「审批流程」,并说出它解决的是「治理」里的什么问题?
  • 你能不能举一个适用场景和一个不适用场景,并说明边界来自数据、流程、风险还是权限?
  • 你能不能把它落到一个真实小任务:输入是什么、输出是什么、验收指标是什么、失败时谁兜底?
  • 老师追问:如果这条 AI 输出被用户截图、被审计、被事故复盘,你能不能解释它为什么被允许?
  • 练习产物:设计三级审批:低风险自动、中风险负责人审、高风险多方审,并举例。
精通标准:审批流程不是拖慢 AI,而是让高风险 AI 有人负责。 能精通的人,不是能背定义,而是能把它迁移到一个新业务里,写出判断表、数据要求、风险边界和落地动作。
业务判断方法

低风险快速走,高风险严格审。

2. 审计记录

知识点讲解记录谁用了什么数据、输出给谁、发生了什么。

老师板书 审计记录 治理

审计记录让 AI 的每一步可追踪。

先用人话讲明白

审计记录保存 AI 做了什么、为什么做、用了哪些资料、谁确认、影响了谁。它用于追责、复盘、合规和改进。

类比可以把它理解成给 AI 上岗前办权限、签责任书、留操作记录。

为什么要学让关键行为事后能还原和追责。

把关键词拆开看
  • 操作留痕:工具调用和关键输出要记录。
  • 依据留痕:引用资料和模型版本要记录。
  • 人员留痕:人工确认和审批人要记录。

入门版理解:记录谁用了什么数据、输出给谁、发生了什么。

适用范围和边界
1. 优先原则:先满足前提,再谈使用

在实际工程里,任何概念都不能脱离场景硬套。学习「审计记录」时,第一步不是问“它高级不高级”,而是问它是否真的能帮助你完成一个更清晰、更可验证的业务判断。

  • 先看它服务的专业判断是不是「治理」:让关键行为事后能还原和追责。
  • 数据、工具、输出、人群和使用场景都已分级。
  • 知道哪些信息能给模型看,哪些只能脱敏,哪些禁止进入模型。
2. 引入边界:同时满足这些条件,才值得推进

只有当它能把问题从“凭感觉讨论”推进到“可设计、可评测、可复盘”时,才说明这个知识点真正进入了业务方案。

  • 当「审计记录」能改变用户日志、设备标识、账号权益、内部故障资料、外部用户问答里的设计、评测或风险控制动作时,才值得进入方案。
  • 适合任何接触用户数据、内部资料、工具调用、用户可见回答的 AI 项目。
  • 适合在设计阶段就确定权限、脱敏、拒答、审计和责任边界。
3. 反向边界:这些情况先停下来

专业判断的价值,不只是知道什么时候用,更是知道什么时候不用。下面这些情况出现时,要先补数据、补流程、补权限或补评测,而不是继续堆 AI 能力。

  • 审计记录要脱敏保存,不是无限制收集隐私。
  • 只记录最终答案不够,要记录关键链路。
  • 不要把安全治理放到上线前最后补,它会反过来影响架构和流程。
  • 不要只靠 Prompt 防注入、越权和泄露,必须有系统级权限和校验。
  • 日志、诊断包、截图 OCR 里常混有敏感信息,技术数据也可能是隐私数据。
4. 上线前判断:能回答这些问题再落地
  • 能给数据、工具、输出分别做公开/内部/敏感/禁止分级。
  • 能说明每个高风险动作的审批人、审计字段、回滚方式和责任人。
  • 现场追问:如果这条 AI 输出被用户截图、被审计、被事故复盘,你能不能解释它为什么被允许?
架构师总结:审计记录让 AI 的每一步可追踪。 对架构师来说,审计记录 不是一个要背的名词,而是一把判断尺:先看前提是否成立,再看收益是否大于复杂度,最后看失败时有没有证据、兜底和责任人。
通用例子:先脱离技术看懂它

如果 AI 错误创建了高优工单,审计记录能还原是谁触发、模型为何判断、调用了什么工具。

这个例子要看见的重点:让关键行为事后能还原和追责。 所以例子不是为了记故事,而是为了训练你在新场景里做同类判断。

投影 / Android 实战推演
  • 业务推演:投影 Android 业务里,AI 创建工单、建议用户高风险操作、访问敏感日志时都要记录请求、资料、工具参数、结果和确认人。
  • 你要补的证据:围绕「治理」列出数据、文档、日志、用户反馈或人工标注,避免只凭感觉判断。
  • 可交付物:沉淀 数据分级、脱敏规则、权限控制、审计记录和责任边界。,让同事能照着复用,而不是只听你口头解释。
  • 验收指标:至少选一个质量指标、一个效率指标、一个风险指标;比如正确率/一次解决率、定位耗时/追问轮次、误导用户率/转人工率。
  • 迁移能力:同一套思路也能迁移到客服、测试、研发效率、运营分析和产品决策,不局限于投影业务。
老师会这样检查你是否真会了
  • 你能不能用一句人话解释「审计记录」,并说出它解决的是「治理」里的什么问题?
  • 你能不能举一个适用场景和一个不适用场景,并说明边界来自数据、流程、风险还是权限?
  • 你能不能把它落到一个真实小任务:输入是什么、输出是什么、验收指标是什么、失败时谁兜底?
  • 老师追问:如果这条 AI 输出被用户截图、被审计、被事故复盘,你能不能解释它为什么被允许?
  • 练习产物:为一个高风险 AI 动作设计审计字段:用户、时间、输入摘要、资料、工具、结果、确认人。
精通标准:审计记录让 AI 的每一步可追踪。 能精通的人,不是能背定义,而是能把它迁移到一个新业务里,写出判断表、数据要求、风险边界和落地动作。
业务判断方法

问题发生后能追溯。

3. 责任边界

知识点讲解明确模型、使用者、审批者、系统负责人各自责任。

老师板书 责任边界 治理

责任边界让 AI 成为团队工具,而不是责任真空。

先用人话讲明白

责任边界说明 AI、用户、业务负责人、研发、运营和审核人各自负责什么。没有责任边界,出问题时会互相甩锅。

类比可以把它理解成给 AI 上岗前办权限、签责任书、留操作记录。

为什么要学说清 AI、人和系统分别负责什么。

把关键词拆开看
  • 模型责任:提供建议,不承担最终业务判断。
  • 人员责任:谁审核、谁批准、谁处理异常。
  • 系统责任:权限、日志、回滚和告警由系统保障。

入门版理解:明确模型、使用者、审批者、系统负责人各自责任。

适用范围和边界
1. 优先原则:先满足前提,再谈使用

在实际工程里,任何概念都不能脱离场景硬套。学习「责任边界」时,第一步不是问“它高级不高级”,而是问它是否真的能帮助你完成一个更清晰、更可验证的业务判断。

  • 先看它服务的专业判断是不是「治理」:说清 AI、人和系统分别负责什么。
  • 数据、工具、输出、人群和使用场景都已分级。
  • 知道哪些信息能给模型看,哪些只能脱敏,哪些禁止进入模型。
2. 引入边界:同时满足这些条件,才值得推进

只有当它能把问题从“凭感觉讨论”推进到“可设计、可评测、可复盘”时,才说明这个知识点真正进入了业务方案。

  • 当「责任边界」能改变用户日志、设备标识、账号权益、内部故障资料、外部用户问答里的设计、评测或风险控制动作时,才值得进入方案。
  • 适合任何接触用户数据、内部资料、工具调用、用户可见回答的 AI 项目。
  • 适合在设计阶段就确定权限、脱敏、拒答、审计和责任边界。
3. 反向边界:这些情况先停下来

专业判断的价值,不只是知道什么时候用,更是知道什么时候不用。下面这些情况出现时,要先补数据、补流程、补权限或补评测,而不是继续堆 AI 能力。

  • 不要让 AI 成为无人负责的黑箱决策者。
  • 责任边界要写进流程和权限,不只写在介绍页。
  • 不要把安全治理放到上线前最后补,它会反过来影响架构和流程。
  • 不要只靠 Prompt 防注入、越权和泄露,必须有系统级权限和校验。
  • 日志、诊断包、截图 OCR 里常混有敏感信息,技术数据也可能是隐私数据。
4. 上线前判断:能回答这些问题再落地
  • 能给数据、工具、输出分别做公开/内部/敏感/禁止分级。
  • 能说明每个高风险动作的审批人、审计字段、回滚方式和责任人。
  • 现场追问:如果这条 AI 输出被用户截图、被审计、被事故复盘,你能不能解释它为什么被允许?
架构师总结:责任边界让 AI 成为团队工具,而不是责任真空。 对架构师来说,责任边界 不是一个要背的名词,而是一把判断尺:先看前提是否成立,再看收益是否大于复杂度,最后看失败时有没有证据、兜底和责任人。
通用例子:先脱离技术看懂它

AI 可以建议退款是否符合规则,但最终审批责任应属于授权人员或业务系统。

这个例子要看见的重点:说清 AI、人和系统分别负责什么。 所以例子不是为了记故事,而是为了训练你在新场景里做同类判断。

投影 / Android 实战推演
  • 业务推演:投影 Android 业务里,AI 可以生成排障建议和工单草稿;客服负责用户沟通,研发负责根因确认,产品负责对外口径,系统负责记录和权限。
  • 你要补的证据:围绕「治理」列出数据、文档、日志、用户反馈或人工标注,避免只凭感觉判断。
  • 可交付物:沉淀 数据分级、脱敏规则、权限控制、审计记录和责任边界。,让同事能照着复用,而不是只听你口头解释。
  • 验收指标:至少选一个质量指标、一个效率指标、一个风险指标;比如正确率/一次解决率、定位耗时/追问轮次、误导用户率/转人工率。
  • 迁移能力:同一套思路也能迁移到客服、测试、研发效率、运营分析和产品决策,不局限于投影业务。
老师会这样检查你是否真会了
  • 你能不能用一句人话解释「责任边界」,并说出它解决的是「治理」里的什么问题?
  • 你能不能举一个适用场景和一个不适用场景,并说明边界来自数据、流程、风险还是权限?
  • 你能不能把它落到一个真实小任务:输入是什么、输出是什么、验收指标是什么、失败时谁兜底?
  • 老师追问:如果这条 AI 输出被用户截图、被审计、被事故复盘,你能不能解释它为什么被允许?
  • 练习产物:为一个 AI 功能画责任表:AI 做什么、人做什么、系统保证什么、异常谁处理。
精通标准:责任边界让 AI 成为团队工具,而不是责任真空。 能精通的人,不是能背定义,而是能把它迁移到一个新业务里,写出判断表、数据要求、风险边界和落地动作。
业务判断方法

高风险决策不能让模型独自承担。

学习产出

一份 AI 工具上线风险清单和审批流程

10 分钟练习

设计一个 AI 工具上线审批流程。

老师怎么判断你学会了

提交作业交一份治理流程图或清单。

  • 合格能按风险分级审批。
  • 优秀能定义审计、回滚和责任人。
  • 没通过只有口头提醒,没有流程。
系统资料

这些资料用于深挖原理。先完成本页作业,再去看资料,效率会高很多。