AI 晋升学习模块

Module 03

LLM 应用与 Prompt Engineering

最快产生晋升价值的方向:把个人经验变成可复用 AI 工作流。

老师带学方式

你不需要一次全懂

先记一句话,再做 10 分钟练习,最后交一个小作业。老师只看你能不能把知识用到真实业务判断里。

每一步按 4 个动作学
  1. 先背一句话,建立判断框架。
  2. 看知识点,但只抓业务判断方法。
  3. 做 10 分钟练习,套到你的场景。
  4. 按“合格 / 优秀 / 没通过”检查作业。

Lessons

本模块学习步骤

每张卡都是一个小模块,建议一天只学 1-2 张,学完必须交作业,否则就算只看了一遍。

01 0.5 天

把任务拆成可执行步骤

本步 3 个知识点
学习目标

能把一句模糊需求拆成模型能执行的输入、步骤和输出。

先记这一句话

好的 prompt 不是一句咒语,而是一份小型任务说明书。

知识点清单与业务判断 先会用,再理解

1. 角色和目标

知识点讲解告诉模型要扮演什么角色、完成什么结果。

老师板书 角色和目标 指令

好的 Prompt 先让模型知道自己是谁,要为谁完成什么。

先用人话讲明白

角色和目标是 Prompt 的方向盘。角色定义模型以什么身份思考,目标定义这次要完成什么结果。没有目标,模型容易泛泛而谈。

类比可以把它理解成给一个聪明实习生写工作说明书:越清楚,返工越少。

为什么要学先把 AI 的身份、服务对象和交付物说清楚。

把关键词拆开看
  • 角色:专家身份、服务对象、责任范围。
  • 目标:明确产出,不是“帮我看看”。
  • 受众:给研发、客服、产品、用户看的答案应不同。

入门版理解:告诉模型要扮演什么角色、完成什么结果。

适用范围和边界
1. 优先原则:先满足前提,再谈使用

在实际工程里,任何概念都不能脱离场景硬套。学习「角色和目标」时,第一步不是问“它高级不高级”,而是问它是否真的能帮助你完成一个更清晰、更可验证的业务判断。

  • 先看它服务的专业判断是不是「指令」:先把 AI 的身份、服务对象和交付物说清楚。
  • 任务有稳定流程,至少能写出输入、处理步骤、输出和失败分支。
  • 输出要么给人使用,要么给系统消费,格式不能随意漂移。
2. 引入边界:同时满足这些条件,才值得推进

只有当它能把问题从“凭感觉讨论”推进到“可设计、可评测、可复盘”时,才说明这个知识点真正进入了业务方案。

  • 当「角色和目标」能改变客服话术、故障归因、需求评审、测试用例生成、发布说明整理里的设计、评测或风险控制动作时,才值得进入方案。
  • 适合把个人临场经验沉淀成团队可复用的 AI 工作流。
  • 适合客服、研发、测试、运营等重复性文字和判断任务。
3. 反向边界:这些情况先停下来

专业判断的价值,不只是知道什么时候用,更是知道什么时候不用。下面这些情况出现时,要先补数据、补流程、补权限或补评测,而不是继续堆 AI 能力。

  • 角色不能赋予模型没有的权限或事实能力。
  • 目标过多会导致输出散乱,复杂任务要拆步。
  • 不要用 Prompt 掩盖流程不清、资料缺失、权限失控的问题。
  • 不要让模型自由输出给系统消费,结构化输出必须校验。
  • Prompt 改动没有版本记录,会导致线上质量变化无法复盘。
4. 上线前判断:能回答这些问题再落地
  • 能写出 Prompt 模板:角色、目标、输入、约束、输出、失败处理。
  • 能准备正例、反例、边界例,并用同一评测集比较版本。
  • 现场追问:换一个同事来用,能不能得到差不多质量的结果?如果不能,说明流程还没写清。
架构师总结:好的 Prompt 先让模型知道自己是谁,要为谁完成什么。 对架构师来说,角色和目标 不是一个要背的名词,而是一把判断尺:先看前提是否成立,再看收益是否大于复杂度,最后看失败时有没有证据、兜底和责任人。
通用例子:先脱离技术看懂它

“你是资深客服质检,判断这段回答是否解决用户问题”比“评价一下”更可控。

这个例子要看见的重点:先把 AI 的身份、服务对象和交付物说清楚。 所以例子不是为了记故事,而是为了训练你在新场景里做同类判断。

投影 / Android 实战推演
  • 业务推演:投影 Android 业务里,同一个日志给研发看要输出堆栈和疑似模块,给客服看要输出用户可操作步骤,给产品看要输出影响范围和优先级。
  • 你要补的证据:围绕「指令」列出数据、文档、日志、用户反馈或人工标注,避免只凭感觉判断。
  • 可交付物:沉淀 Prompt 模板、输入表单、输出结构、失败分支和版本记录。,让同事能照着复用,而不是只听你口头解释。
  • 验收指标:至少选一个质量指标、一个效率指标、一个风险指标;比如正确率/一次解决率、定位耗时/追问轮次、误导用户率/转人工率。
  • 迁移能力:同一套思路也能迁移到客服、测试、研发效率、运营分析和产品决策,不局限于投影业务。
老师会这样检查你是否真会了
  • 你能不能用一句人话解释「角色和目标」,并说出它解决的是「指令」里的什么问题?
  • 你能不能举一个适用场景和一个不适用场景,并说明边界来自数据、流程、风险还是权限?
  • 你能不能把它落到一个真实小任务:输入是什么、输出是什么、验收指标是什么、失败时谁兜底?
  • 老师追问:换一个同事来用,能不能得到差不多质量的结果?如果不能,说明流程还没写清。
  • 练习产物:把一个模糊 Prompt 改成包含角色、目标、受众、交付格式的版本。
精通标准:好的 Prompt 先让模型知道自己是谁,要为谁完成什么。 能精通的人,不是能背定义,而是能把它迁移到一个新业务里,写出判断表、数据要求、风险边界和落地动作。
业务判断方法

角色要服务任务,不要堆华丽身份。

2. 输入材料

知识点讲解明确模型能看哪些上下文、不能假设什么。

老师板书 输入材料 指令

输入材料是 AI 工作台上的原料,原料不清,成品不会稳。

先用人话讲明白

输入材料是模型完成任务所依赖的事实、上下文、约束和样本。材料质量决定回答上限,Prompt 再漂亮也无法弥补缺事实。

类比可以把它理解成给一个聪明实习生写工作说明书:越清楚,返工越少。

为什么要学决定模型是否有足够事实完成任务。

把关键词拆开看
  • 完整性:关键事实不能缺。
  • 相关性:不要把大量无关材料塞进去。
  • 可信度:不同来源要标注权威程度。

入门版理解:明确模型能看哪些上下文、不能假设什么。

适用范围和边界
1. 优先原则:先满足前提,再谈使用

在实际工程里,任何概念都不能脱离场景硬套。学习「输入材料」时,第一步不是问“它高级不高级”,而是问它是否真的能帮助你完成一个更清晰、更可验证的业务判断。

  • 先看它服务的专业判断是不是「指令」:决定模型是否有足够事实完成任务。
  • 任务有稳定流程,至少能写出输入、处理步骤、输出和失败分支。
  • 输出要么给人使用,要么给系统消费,格式不能随意漂移。
2. 引入边界:同时满足这些条件,才值得推进

只有当它能把问题从“凭感觉讨论”推进到“可设计、可评测、可复盘”时,才说明这个知识点真正进入了业务方案。

  • 当「输入材料」能改变客服话术、故障归因、需求评审、测试用例生成、发布说明整理里的设计、评测或风险控制动作时,才值得进入方案。
  • 适合把个人临场经验沉淀成团队可复用的 AI 工作流。
  • 适合客服、研发、测试、运营等重复性文字和判断任务。
3. 反向边界:这些情况先停下来

专业判断的价值,不只是知道什么时候用,更是知道什么时候不用。下面这些情况出现时,要先补数据、补流程、补权限或补评测,而不是继续堆 AI 能力。

  • 材料缺失时要让模型先提问或列假设。
  • 材料冲突时要要求模型指出冲突,不要自动选一个。
  • 不要用 Prompt 掩盖流程不清、资料缺失、权限失控的问题。
  • 不要让模型自由输出给系统消费,结构化输出必须校验。
  • Prompt 改动没有版本记录,会导致线上质量变化无法复盘。
4. 上线前判断:能回答这些问题再落地
  • 能写出 Prompt 模板:角色、目标、输入、约束、输出、失败处理。
  • 能准备正例、反例、边界例,并用同一评测集比较版本。
  • 现场追问:换一个同事来用,能不能得到差不多质量的结果?如果不能,说明流程还没写清。
架构师总结:输入材料是 AI 工作台上的原料,原料不清,成品不会稳。 对架构师来说,输入材料 不是一个要背的名词,而是一把判断尺:先看前提是否成立,再看收益是否大于复杂度,最后看失败时有没有证据、兜底和责任人。
通用例子:先脱离技术看懂它

让模型写事故复盘时,至少要给时间线、影响范围、根因、修复过程,而不是只给一句“系统挂了”。

这个例子要看见的重点:决定模型是否有足够事实完成任务。 所以例子不是为了记故事,而是为了训练你在新场景里做同类判断。

投影 / Android 实战推演
  • 业务推演:投影 Android 场景里,分析用户反馈要给设备型号、App 版本、系统版本、操作步骤、日志片段、是否可复现。只给“投屏失败”四个字,模型只能猜。
  • 你要补的证据:围绕「指令」列出数据、文档、日志、用户反馈或人工标注,避免只凭感觉判断。
  • 可交付物:沉淀 Prompt 模板、输入表单、输出结构、失败分支和版本记录。,让同事能照着复用,而不是只听你口头解释。
  • 验收指标:至少选一个质量指标、一个效率指标、一个风险指标;比如正确率/一次解决率、定位耗时/追问轮次、误导用户率/转人工率。
  • 迁移能力:同一套思路也能迁移到客服、测试、研发效率、运营分析和产品决策,不局限于投影业务。
老师会这样检查你是否真会了
  • 你能不能用一句人话解释「输入材料」,并说出它解决的是「指令」里的什么问题?
  • 你能不能举一个适用场景和一个不适用场景,并说明边界来自数据、流程、风险还是权限?
  • 你能不能把它落到一个真实小任务:输入是什么、输出是什么、验收指标是什么、失败时谁兜底?
  • 老师追问:换一个同事来用,能不能得到差不多质量的结果?如果不能,说明流程还没写清。
  • 练习产物:为“分析投屏失败”设计输入表单,列出必填字段和可选字段。
精通标准:输入材料是 AI 工作台上的原料,原料不清,成品不会稳。 能精通的人,不是能背定义,而是能把它迁移到一个新业务里,写出判断表、数据要求、风险边界和落地动作。
业务判断方法

缺材料时要让模型先提问或拒答。

3. 输出格式

知识点讲解规定结构、字段、长度和判断标准。

老师板书 输出格式 指令

输出格式决定 AI 结果能不能进入真实流程。

先用人话讲明白

输出格式规定模型答案的结构、字段、长度和表达方式。它让结果可以被人快速阅读,也能被系统继续处理。

类比可以把它理解成给一个聪明实习生写工作说明书:越清楚,返工越少。

为什么要学让结果能被人读、被系统接、被流程验。

把关键词拆开看
  • 结构:标题、列表、表格、JSON 等。
  • 字段:必须包含哪些信息,禁止缺失。
  • 可消费:输出要适合下一步使用者或系统。

入门版理解:规定结构、字段、长度和判断标准。

适用范围和边界
1. 优先原则:先满足前提,再谈使用

在实际工程里,任何概念都不能脱离场景硬套。学习「输出格式」时,第一步不是问“它高级不高级”,而是问它是否真的能帮助你完成一个更清晰、更可验证的业务判断。

  • 先看它服务的专业判断是不是「指令」:让结果能被人读、被系统接、被流程验。
  • 任务有稳定流程,至少能写出输入、处理步骤、输出和失败分支。
  • 输出要么给人使用,要么给系统消费,格式不能随意漂移。
2. 引入边界:同时满足这些条件,才值得推进

只有当它能把问题从“凭感觉讨论”推进到“可设计、可评测、可复盘”时,才说明这个知识点真正进入了业务方案。

  • 当「输出格式」能改变客服话术、故障归因、需求评审、测试用例生成、发布说明整理里的设计、评测或风险控制动作时,才值得进入方案。
  • 适合把个人临场经验沉淀成团队可复用的 AI 工作流。
  • 适合客服、研发、测试、运营等重复性文字和判断任务。
3. 反向边界:这些情况先停下来

专业判断的价值,不只是知道什么时候用,更是知道什么时候不用。下面这些情况出现时,要先补数据、补流程、补权限或补评测,而不是继续堆 AI 能力。

  • 格式太复杂会增加失败率,要和任务复杂度匹配。
  • 给系统消费的 JSON 要做校验,不能只相信模型格式正确。
  • 不要用 Prompt 掩盖流程不清、资料缺失、权限失控的问题。
  • 不要让模型自由输出给系统消费,结构化输出必须校验。
  • Prompt 改动没有版本记录,会导致线上质量变化无法复盘。
4. 上线前判断:能回答这些问题再落地
  • 能写出 Prompt 模板:角色、目标、输入、约束、输出、失败处理。
  • 能准备正例、反例、边界例,并用同一评测集比较版本。
  • 现场追问:换一个同事来用,能不能得到差不多质量的结果?如果不能,说明流程还没写清。
架构师总结:输出格式决定 AI 结果能不能进入真实流程。 对架构师来说,输出格式 不是一个要背的名词,而是一把判断尺:先看前提是否成立,再看收益是否大于复杂度,最后看失败时有没有证据、兜底和责任人。
通用例子:先脱离技术看懂它

要求模型输出“结论、证据、风险、下一步”比让它自由发挥更稳定。

这个例子要看见的重点:让结果能被人读、被系统接、被流程验。 所以例子不是为了记故事,而是为了训练你在新场景里做同类判断。

投影 / Android 实战推演
  • 业务推演:投影 Android 业务里,故障分析可以固定输出:问题分类、疑似模块、证据日志、用户建议、研发建议、置信度、是否转人工。这样客服和研发都能直接接住。
  • 你要补的证据:围绕「指令」列出数据、文档、日志、用户反馈或人工标注,避免只凭感觉判断。
  • 可交付物:沉淀 Prompt 模板、输入表单、输出结构、失败分支和版本记录。,让同事能照着复用,而不是只听你口头解释。
  • 验收指标:至少选一个质量指标、一个效率指标、一个风险指标;比如正确率/一次解决率、定位耗时/追问轮次、误导用户率/转人工率。
  • 迁移能力:同一套思路也能迁移到客服、测试、研发效率、运营分析和产品决策,不局限于投影业务。
老师会这样检查你是否真会了
  • 你能不能用一句人话解释「输出格式」,并说出它解决的是「指令」里的什么问题?
  • 你能不能举一个适用场景和一个不适用场景,并说明边界来自数据、流程、风险还是权限?
  • 你能不能把它落到一个真实小任务:输入是什么、输出是什么、验收指标是什么、失败时谁兜底?
  • 老师追问:换一个同事来用,能不能得到差不多质量的结果?如果不能,说明流程还没写清。
  • 练习产物:把一个自由文本回答改成固定字段模板,并说明每个字段给谁用。
精通标准:输出格式决定 AI 结果能不能进入真实流程。 能精通的人,不是能背定义,而是能把它迁移到一个新业务里,写出判断表、数据要求、风险边界和落地动作。
业务判断方法

越需要复用,越要结构化输出。

学习产出

一个可复用的文档/代码/测试 Review Agent 工作流

10 分钟练习

把一个“帮我 review 文档”的需求拆成角色、输入、步骤、输出。

老师怎么判断你学会了

提交作业交一个可复用 prompt 模板。

  • 合格能写清输入和输出。
  • 优秀能加入拒答条件和质量标准。
  • 没通过只写“你是专家,请帮我优化”。
02 1 天

上下文、示例与约束

本步 3 个知识点
学习目标

能让模型稳定按你的标准输出,而不是每次风格漂移。

先记这一句话

模型输出稳定,靠的是上下文、示例和边界条件,而不是多夸模型聪明。

知识点清单与业务判断 先会用,再理解

1. 上下文

知识点讲解背景、目标用户、业务规则会影响判断。

老师板书 上下文 指令

上下文让模型从“泛答”变成“懂当前场景”。

先用人话讲明白

Prompt 里的上下文是帮助模型理解任务背景的信息,包括业务背景、用户身份、历史对话、当前状态和限制条件。

类比可以把它理解成给一个聪明实习生写工作说明书:越清楚,返工越少。

为什么要学让模型知道当前业务状态,而不是泛泛回答。

把关键词拆开看
  • 背景:为什么要做这件事。
  • 状态:当前已经发生了什么。
  • 限制:不能做什么、必须遵守什么。

入门版理解:背景、目标用户、业务规则会影响判断。

适用范围和边界
1. 优先原则:先满足前提,再谈使用

在实际工程里,任何概念都不能脱离场景硬套。学习「上下文」时,第一步不是问“它高级不高级”,而是问它是否真的能帮助你完成一个更清晰、更可验证的业务判断。

  • 先看它服务的专业判断是不是「指令」:让模型知道当前业务状态,而不是泛泛回答。
  • 任务有稳定流程,至少能写出输入、处理步骤、输出和失败分支。
  • 输出要么给人使用,要么给系统消费,格式不能随意漂移。
2. 引入边界:同时满足这些条件,才值得推进

只有当它能把问题从“凭感觉讨论”推进到“可设计、可评测、可复盘”时,才说明这个知识点真正进入了业务方案。

  • 当「上下文」能改变客服话术、故障归因、需求评审、测试用例生成、发布说明整理里的设计、评测或风险控制动作时,才值得进入方案。
  • 适合把个人临场经验沉淀成团队可复用的 AI 工作流。
  • 适合客服、研发、测试、运营等重复性文字和判断任务。
3. 反向边界:这些情况先停下来

专业判断的价值,不只是知道什么时候用,更是知道什么时候不用。下面这些情况出现时,要先补数据、补流程、补权限或补评测,而不是继续堆 AI 能力。

  • 上下文不是越多越好,无关背景会干扰判断。
  • 敏感信息不要直接放入 Prompt,要脱敏或摘要。
  • 不要用 Prompt 掩盖流程不清、资料缺失、权限失控的问题。
  • 不要让模型自由输出给系统消费,结构化输出必须校验。
  • Prompt 改动没有版本记录,会导致线上质量变化无法复盘。
4. 上线前判断:能回答这些问题再落地
  • 能写出 Prompt 模板:角色、目标、输入、约束、输出、失败处理。
  • 能准备正例、反例、边界例,并用同一评测集比较版本。
  • 现场追问:换一个同事来用,能不能得到差不多质量的结果?如果不能,说明流程还没写清。
架构师总结:上下文让模型从“泛答”变成“懂当前场景”。 对架构师来说,上下文 不是一个要背的名词,而是一把判断尺:先看前提是否成立,再看收益是否大于复杂度,最后看失败时有没有证据、兜底和责任人。
通用例子:先脱离技术看懂它

让模型写方案时,告诉它预算、时间、团队能力,答案会比泛泛建议更可执行。

这个例子要看见的重点:让模型知道当前业务状态,而不是泛泛回答。 所以例子不是为了记故事,而是为了训练你在新场景里做同类判断。

投影 / Android 实战推演
  • 业务推演:投影 Android 场景里,用户反馈“连不上”时,上下文要说明是同屏投屏、视频投屏还是蓝牙遥控器连接;不同上下文对应完全不同排障路径。
  • 你要补的证据:围绕「指令」列出数据、文档、日志、用户反馈或人工标注,避免只凭感觉判断。
  • 可交付物:沉淀 Prompt 模板、输入表单、输出结构、失败分支和版本记录。,让同事能照着复用,而不是只听你口头解释。
  • 验收指标:至少选一个质量指标、一个效率指标、一个风险指标;比如正确率/一次解决率、定位耗时/追问轮次、误导用户率/转人工率。
  • 迁移能力:同一套思路也能迁移到客服、测试、研发效率、运营分析和产品决策,不局限于投影业务。
老师会这样检查你是否真会了
  • 你能不能用一句人话解释「上下文」,并说出它解决的是「指令」里的什么问题?
  • 你能不能举一个适用场景和一个不适用场景,并说明边界来自数据、流程、风险还是权限?
  • 你能不能把它落到一个真实小任务:输入是什么、输出是什么、验收指标是什么、失败时谁兜底?
  • 老师追问:换一个同事来用,能不能得到差不多质量的结果?如果不能,说明流程还没写清。
  • 练习产物:给同一个问题准备三版上下文:给客服、给研发、给产品,比较输出差异。
精通标准:上下文让模型从“泛答”变成“懂当前场景”。 能精通的人,不是能背定义,而是能把它迁移到一个新业务里,写出判断表、数据要求、风险边界和落地动作。
业务判断方法

重要规则必须显式给出。

2. Few-shot 示例

知识点讲解给模型几个输入输出样例,让它模仿格式和口径。

老师板书 Few-shot 示例 工作流

Few-shot 是用样例教模型做事,而不是只靠口头规则。

先用人话讲明白

Few-shot 是在 Prompt 中给几个输入输出示例,让模型模仿你的判断标准和表达格式。它适合标准难用一句话讲清,但可以通过样例体现的任务。

类比像老师给几道标准例题,让学生模仿答题格式和判断口径。

为什么要学把一次性提问变成可复用流程。

把关键词拆开看
  • 示范标准:用例子告诉模型什么算好答案。
  • 覆盖边界:示例要包含正常、异常和容易混淆情况。
  • 少而精:示例太多会挤占上下文,也可能互相冲突。

入门版理解:给模型几个输入输出样例,让它模仿格式和口径。

适用范围和边界
1. 优先原则:先满足前提,再谈使用

在实际工程里,任何概念都不能脱离场景硬套。学习「Few-shot 示例」时,第一步不是问“它高级不高级”,而是问它是否真的能帮助你完成一个更清晰、更可验证的业务判断。

  • 先看它服务的专业判断是不是「工作流」:把一次性提问变成可复用流程。
  • 任务有稳定流程,至少能写出输入、处理步骤、输出和失败分支。
  • 输出要么给人使用,要么给系统消费,格式不能随意漂移。
2. 引入边界:同时满足这些条件,才值得推进

只有当它能把问题从“凭感觉讨论”推进到“可设计、可评测、可复盘”时,才说明这个知识点真正进入了业务方案。

  • 当「Few-shot 示例」能改变客服话术、故障归因、需求评审、测试用例生成、发布说明整理里的设计、评测或风险控制动作时,才值得进入方案。
  • 适合把个人临场经验沉淀成团队可复用的 AI 工作流。
  • 适合客服、研发、测试、运营等重复性文字和判断任务。
3. 反向边界:这些情况先停下来

专业判断的价值,不只是知道什么时候用,更是知道什么时候不用。下面这些情况出现时,要先补数据、补流程、补权限或补评测,而不是继续堆 AI 能力。

  • 示例质量差会把错误标准教给模型。
  • 示例覆盖不到的新问题,仍要允许模型输出不确定。
  • 不要用 Prompt 掩盖流程不清、资料缺失、权限失控的问题。
  • 不要让模型自由输出给系统消费,结构化输出必须校验。
  • Prompt 改动没有版本记录,会导致线上质量变化无法复盘。
4. 上线前判断:能回答这些问题再落地
  • 能写出 Prompt 模板:角色、目标、输入、约束、输出、失败处理。
  • 能准备正例、反例、边界例,并用同一评测集比较版本。
  • 现场追问:换一个同事来用,能不能得到差不多质量的结果?如果不能,说明流程还没写清。
架构师总结:Few-shot 是用样例教模型做事,而不是只靠口头规则。 对架构师来说,Few-shot 示例 不是一个要背的名词,而是一把判断尺:先看前提是否成立,再看收益是否大于复杂度,最后看失败时有没有证据、兜底和责任人。
通用例子:先脱离技术看懂它

给模型三条客服工单和正确分类,它会更容易学会你的分类口径。

这个例子要看见的重点:把一次性提问变成可复用流程。 所以例子不是为了记故事,而是为了训练你在新场景里做同类判断。

投影 / Android 实战推演
  • 业务推演:投影 Android 业务里,可以给模型几个“用户说搜不到设备 -> 投屏发现问题”“视频黑屏但有声音 -> 播放渲染问题”的示例,帮助它区分相似反馈。
  • 你要补的证据:围绕「工作流」列出数据、文档、日志、用户反馈或人工标注,避免只凭感觉判断。
  • 可交付物:沉淀 Prompt 模板、输入表单、输出结构、失败分支和版本记录。,让同事能照着复用,而不是只听你口头解释。
  • 验收指标:至少选一个质量指标、一个效率指标、一个风险指标;比如正确率/一次解决率、定位耗时/追问轮次、误导用户率/转人工率。
  • 迁移能力:同一套思路也能迁移到客服、测试、研发效率、运营分析和产品决策,不局限于投影业务。
老师会这样检查你是否真会了
  • 你能不能用一句人话解释「Few-shot 示例」,并说出它解决的是「工作流」里的什么问题?
  • 你能不能举一个适用场景和一个不适用场景,并说明边界来自数据、流程、风险还是权限?
  • 你能不能把它落到一个真实小任务:输入是什么、输出是什么、验收指标是什么、失败时谁兜底?
  • 老师追问:换一个同事来用,能不能得到差不多质量的结果?如果不能,说明流程还没写清。
  • 练习产物:为一个分类任务写 5 个 Few-shot 示例,其中至少 2 个是容易混淆的反例。
精通标准:Few-shot 是用样例教模型做事,而不是只靠口头规则。 能精通的人,不是能背定义,而是能把它迁移到一个新业务里,写出判断表、数据要求、风险边界和落地动作。
业务判断方法

适合评分、分类、改写和审查。

3. 约束条件

知识点讲解说明不能做什么、遇到不确定怎么办。

老师板书 约束条件 安全

约束条件是把 AI 放进可控流程的护栏。

先用人话讲明白

约束条件告诉模型必须遵守的边界,例如不能编造、必须引用、不能泄露隐私、字数限制、只用给定材料回答。

类比可以把它理解成给一个聪明实习生写工作说明书:越清楚,返工越少。

为什么要学把模型必须遵守的边界写进流程。

把关键词拆开看
  • 行为约束:允许和禁止的动作。
  • 事实约束:只能基于哪些资料回答。
  • 格式约束:必须按什么结构输出。

入门版理解:说明不能做什么、遇到不确定怎么办。

适用范围和边界
1. 优先原则:先满足前提,再谈使用

在实际工程里,任何概念都不能脱离场景硬套。学习「约束条件」时,第一步不是问“它高级不高级”,而是问它是否真的能帮助你完成一个更清晰、更可验证的业务判断。

  • 先看它服务的专业判断是不是「安全」:把模型必须遵守的边界写进流程。
  • 任务有稳定流程,至少能写出输入、处理步骤、输出和失败分支。
  • 输出要么给人使用,要么给系统消费,格式不能随意漂移。
2. 引入边界:同时满足这些条件,才值得推进

只有当它能把问题从“凭感觉讨论”推进到“可设计、可评测、可复盘”时,才说明这个知识点真正进入了业务方案。

  • 当「约束条件」能改变客服话术、故障归因、需求评审、测试用例生成、发布说明整理里的设计、评测或风险控制动作时,才值得进入方案。
  • 适合把个人临场经验沉淀成团队可复用的 AI 工作流。
  • 适合客服、研发、测试、运营等重复性文字和判断任务。
3. 反向边界:这些情况先停下来

专业判断的价值,不只是知道什么时候用,更是知道什么时候不用。下面这些情况出现时,要先补数据、补流程、补权限或补评测,而不是继续堆 AI 能力。

  • 约束不是安全系统本身,高风险场景还要权限控制和审核。
  • 约束太多且互相冲突时,模型会不稳定。
  • 不要用 Prompt 掩盖流程不清、资料缺失、权限失控的问题。
  • 不要让模型自由输出给系统消费,结构化输出必须校验。
  • Prompt 改动没有版本记录,会导致线上质量变化无法复盘。
4. 上线前判断:能回答这些问题再落地
  • 能写出 Prompt 模板:角色、目标、输入、约束、输出、失败处理。
  • 能准备正例、反例、边界例,并用同一评测集比较版本。
  • 现场追问:换一个同事来用,能不能得到差不多质量的结果?如果不能,说明流程还没写清。
架构师总结:约束条件是把 AI 放进可控流程的护栏。 对架构师来说,约束条件 不是一个要背的名词,而是一把判断尺:先看前提是否成立,再看收益是否大于复杂度,最后看失败时有没有证据、兜底和责任人。
通用例子:先脱离技术看懂它

“只根据以下文档回答;文档没有就说不知道”能显著降低编造风险。

这个例子要看见的重点:把模型必须遵守的边界写进流程。 所以例子不是为了记故事,而是为了训练你在新场景里做同类判断。

投影 / Android 实战推演
  • 业务推演:投影 Android 业务里,给用户的排障建议要约束:不能建议拆机、不能建议刷非官方固件、不能承诺赔偿、涉及账号和支付必须转人工。
  • 你要补的证据:围绕「安全」列出数据、文档、日志、用户反馈或人工标注,避免只凭感觉判断。
  • 可交付物:沉淀 Prompt 模板、输入表单、输出结构、失败分支和版本记录。,让同事能照着复用,而不是只听你口头解释。
  • 验收指标:至少选一个质量指标、一个效率指标、一个风险指标;比如正确率/一次解决率、定位耗时/追问轮次、误导用户率/转人工率。
  • 迁移能力:同一套思路也能迁移到客服、测试、研发效率、运营分析和产品决策,不局限于投影业务。
老师会这样检查你是否真会了
  • 你能不能用一句人话解释「约束条件」,并说出它解决的是「安全」里的什么问题?
  • 你能不能举一个适用场景和一个不适用场景,并说明边界来自数据、流程、风险还是权限?
  • 你能不能把它落到一个真实小任务:输入是什么、输出是什么、验收指标是什么、失败时谁兜底?
  • 老师追问:换一个同事来用,能不能得到差不多质量的结果?如果不能,说明流程还没写清。
  • 练习产物:列出一个用户可见 AI 助手的 10 条禁止项,并说明每条禁止项对应什么风险。
精通标准:约束条件是把 AI 放进可控流程的护栏。 能精通的人,不是能背定义,而是能把它迁移到一个新业务里,写出判断表、数据要求、风险边界和落地动作。
业务判断方法

高风险任务要允许“不确定”和“需要人工确认”。

学习产出

一个可复用的文档/代码/测试 Review Agent 工作流

10 分钟练习

给同一个任务写 1 个错误示例和 1 个正确示例。

老师怎么判断你学会了

提交作业交一个带示例和约束的 prompt。

  • 合格输出格式稳定。
  • 优秀能处理信息不足和边界情况。
  • 没通过模型每次输出都不一样,无法复用。
03 1 天

结构化输出与工具调用

本步 3 个知识点
学习目标

能让 AI 结果进入流程,而不是停留在聊天窗口。

先记这一句话

要自动化,就要把自然语言输出变成稳定字段或工具动作。

知识点清单与业务判断 先会用,再理解

1. 结构化输出

知识点讲解让模型输出 JSON、表格或固定字段。

老师板书 结构化输出 工作流

结构化输出让 AI 从聊天内容变成流程数据。

先用人话讲明白

结构化输出是让模型按固定字段返回结果,例如 JSON、表格、清单。它让 AI 输出可以被程序读取、校验和流转。

类比像固定表单,让答案能被系统继续处理。

为什么要学把一次性提问变成可复用流程。

把关键词拆开看
  • 字段稳定:每次都返回同样字段名。
  • 类型明确:字符串、数字、布尔、数组要清楚。
  • 可校验:输出不合法时能自动发现并重试。

入门版理解:让模型输出 JSON、表格或固定字段。

适用范围和边界
1. 优先原则:先满足前提,再谈使用

在实际工程里,任何概念都不能脱离场景硬套。学习「结构化输出」时,第一步不是问“它高级不高级”,而是问它是否真的能帮助你完成一个更清晰、更可验证的业务判断。

  • 先看它服务的专业判断是不是「工作流」:把一次性提问变成可复用流程。
  • 任务有稳定流程,至少能写出输入、处理步骤、输出和失败分支。
  • 输出要么给人使用,要么给系统消费,格式不能随意漂移。
2. 引入边界:同时满足这些条件,才值得推进

只有当它能把问题从“凭感觉讨论”推进到“可设计、可评测、可复盘”时,才说明这个知识点真正进入了业务方案。

  • 当「结构化输出」能改变客服话术、故障归因、需求评审、测试用例生成、发布说明整理里的设计、评测或风险控制动作时,才值得进入方案。
  • 适合把个人临场经验沉淀成团队可复用的 AI 工作流。
  • 适合客服、研发、测试、运营等重复性文字和判断任务。
3. 反向边界:这些情况先停下来

专业判断的价值,不只是知道什么时候用,更是知道什么时候不用。下面这些情况出现时,要先补数据、补流程、补权限或补评测,而不是继续堆 AI 能力。

  • 结构化不代表内容正确,字段合法也要评测事实质量。
  • 用户可见回答和系统字段最好分开,避免内部信息泄露。
  • 不要用 Prompt 掩盖流程不清、资料缺失、权限失控的问题。
  • 不要让模型自由输出给系统消费,结构化输出必须校验。
  • Prompt 改动没有版本记录,会导致线上质量变化无法复盘。
4. 上线前判断:能回答这些问题再落地
  • 能写出 Prompt 模板:角色、目标、输入、约束、输出、失败处理。
  • 能准备正例、反例、边界例,并用同一评测集比较版本。
  • 现场追问:换一个同事来用,能不能得到差不多质量的结果?如果不能,说明流程还没写清。
架构师总结:结构化输出让 AI 从聊天内容变成流程数据。 对架构师来说,结构化输出 不是一个要背的名词,而是一把判断尺:先看前提是否成立,再看收益是否大于复杂度,最后看失败时有没有证据、兜底和责任人。
通用例子:先脱离技术看懂它

把工单分类输出为 JSON:category、confidence、reason、next_action,就能自动进入工单系统。

这个例子要看见的重点:把一次性提问变成可复用流程。 所以例子不是为了记故事,而是为了训练你在新场景里做同类判断。

投影 / Android 实战推演
  • 业务推演:投影 Android 场景里,AI 分析日志后可以输出 {问题类型、疑似模块、证据行号、严重等级、是否需要人工},系统据此自动分派给播放器、投屏协议或账号团队。
  • 你要补的证据:围绕「工作流」列出数据、文档、日志、用户反馈或人工标注,避免只凭感觉判断。
  • 可交付物:沉淀 Prompt 模板、输入表单、输出结构、失败分支和版本记录。,让同事能照着复用,而不是只听你口头解释。
  • 验收指标:至少选一个质量指标、一个效率指标、一个风险指标;比如正确率/一次解决率、定位耗时/追问轮次、误导用户率/转人工率。
  • 迁移能力:同一套思路也能迁移到客服、测试、研发效率、运营分析和产品决策,不局限于投影业务。
老师会这样检查你是否真会了
  • 你能不能用一句人话解释「结构化输出」,并说出它解决的是「工作流」里的什么问题?
  • 你能不能举一个适用场景和一个不适用场景,并说明边界来自数据、流程、风险还是权限?
  • 你能不能把它落到一个真实小任务:输入是什么、输出是什么、验收指标是什么、失败时谁兜底?
  • 老师追问:换一个同事来用,能不能得到差不多质量的结果?如果不能,说明流程还没写清。
  • 练习产物:设计一个故障分类 JSON Schema,并写 3 条非法输出示例说明如何拦截。
精通标准:结构化输出让 AI 从聊天内容变成流程数据。 能精通的人,不是能背定义,而是能把它迁移到一个新业务里,写出判断表、数据要求、风险边界和落地动作。
业务判断方法

适合进入看板、审批、工单和报告。

2. 函数/工具调用

知识点讲解模型判断何时调用外部工具执行查询、写入或计算。

老师板书 函数/工具调用 工作流

工具调用让 AI 能办事,也让权限和校验变得更重要。

先用人话讲明白

函数或工具调用让模型不只是回答,还能调用外部能力,例如查数据库、搜索文档、创建工单、读取日志。它把 AI 接入真实系统。

类比像给 AI 一组按钮,每个按钮会真的查数据或办事。

为什么要学把一次性提问变成可复用流程。

把关键词拆开看
  • 工具选择:什么时候该调用哪个工具。
  • 参数生成:模型要给出合法、最小、可验证的参数。
  • 结果使用:工具返回后,模型要基于结果继续推理。

入门版理解:模型判断何时调用外部工具执行查询、写入或计算。

适用范围和边界
1. 优先原则:先满足前提,再谈使用

在实际工程里,任何概念都不能脱离场景硬套。学习「函数/工具调用」时,第一步不是问“它高级不高级”,而是问它是否真的能帮助你完成一个更清晰、更可验证的业务判断。

  • 先看它服务的专业判断是不是「工作流」:把一次性提问变成可复用流程。
  • 任务有稳定流程,至少能写出输入、处理步骤、输出和失败分支。
  • 输出要么给人使用,要么给系统消费,格式不能随意漂移。
2. 引入边界:同时满足这些条件,才值得推进

只有当它能把问题从“凭感觉讨论”推进到“可设计、可评测、可复盘”时,才说明这个知识点真正进入了业务方案。

  • 当「函数/工具调用」能改变客服话术、故障归因、需求评审、测试用例生成、发布说明整理里的设计、评测或风险控制动作时,才值得进入方案。
  • 适合把个人临场经验沉淀成团队可复用的 AI 工作流。
  • 适合客服、研发、测试、运营等重复性文字和判断任务。
3. 反向边界:这些情况先停下来

专业判断的价值,不只是知道什么时候用,更是知道什么时候不用。下面这些情况出现时,要先补数据、补流程、补权限或补评测,而不是继续堆 AI 能力。

  • 有副作用的工具要人工确认,例如删除、退款、修改配置。
  • 工具参数必须校验,不能让模型随意构造危险请求。
  • 不要用 Prompt 掩盖流程不清、资料缺失、权限失控的问题。
  • 不要让模型自由输出给系统消费,结构化输出必须校验。
  • Prompt 改动没有版本记录,会导致线上质量变化无法复盘。
4. 上线前判断:能回答这些问题再落地
  • 能写出 Prompt 模板:角色、目标、输入、约束、输出、失败处理。
  • 能准备正例、反例、边界例,并用同一评测集比较版本。
  • 现场追问:换一个同事来用,能不能得到差不多质量的结果?如果不能,说明流程还没写清。
架构师总结:工具调用让 AI 能办事,也让权限和校验变得更重要。 对架构师来说,函数/工具调用 不是一个要背的名词,而是一把判断尺:先看前提是否成立,再看收益是否大于复杂度,最后看失败时有没有证据、兜底和责任人。
通用例子:先脱离技术看懂它

用户问订单状态时,模型调用订单查询工具,而不是凭空回答。

这个例子要看见的重点:把一次性提问变成可复用流程。 所以例子不是为了记故事,而是为了训练你在新场景里做同类判断。

投影 / Android 实战推演
  • 业务推演:投影 Android 业务里,AI 可以调用日志检索、版本查询、FAQ 搜索、工单创建工具。比如用户输入设备型号后,工具查询该型号已知问题,再生成排障建议。
  • 你要补的证据:围绕「工作流」列出数据、文档、日志、用户反馈或人工标注,避免只凭感觉判断。
  • 可交付物:沉淀 Prompt 模板、输入表单、输出结构、失败分支和版本记录。,让同事能照着复用,而不是只听你口头解释。
  • 验收指标:至少选一个质量指标、一个效率指标、一个风险指标;比如正确率/一次解决率、定位耗时/追问轮次、误导用户率/转人工率。
  • 迁移能力:同一套思路也能迁移到客服、测试、研发效率、运营分析和产品决策,不局限于投影业务。
老师会这样检查你是否真会了
  • 你能不能用一句人话解释「函数/工具调用」,并说出它解决的是「工作流」里的什么问题?
  • 你能不能举一个适用场景和一个不适用场景,并说明边界来自数据、流程、风险还是权限?
  • 你能不能把它落到一个真实小任务:输入是什么、输出是什么、验收指标是什么、失败时谁兜底?
  • 老师追问:换一个同事来用,能不能得到差不多质量的结果?如果不能,说明流程还没写清。
  • 练习产物:为一个“创建故障工单”工具设计参数,并标注哪些字段必须人工确认。
精通标准:工具调用让 AI 能办事,也让权限和校验变得更重要。 能精通的人,不是能背定义,而是能把它迁移到一个新业务里,写出判断表、数据要求、风险边界和落地动作。
业务判断方法

工具需要权限、参数校验和失败处理。

3. 错误处理

知识点讲解结构不合法、工具失败、信息不足时要有兜底。

老师板书 错误处理 工程

错误处理决定 AI 应用能不能在真实世界里活下来。

先用人话讲明白

错误处理是当模型、工具、网络、数据或权限出问题时,系统如何恢复。真实 AI 应用不能只设计成功路径。

类比可以把它理解成给一个聪明实习生写工作说明书:越清楚,返工越少。

为什么要学设计失败路径,防止真实系统只会跑成功样例。

把关键词拆开看
  • 识别失败:知道是哪一步失败,模型、工具还是数据。
  • 降级策略:失败后给替代方案,而不是空白。
  • 用户提示:说明能做什么,避免暴露内部细节。

入门版理解:结构不合法、工具失败、信息不足时要有兜底。

适用范围和边界
1. 优先原则:先满足前提,再谈使用

在实际工程里,任何概念都不能脱离场景硬套。学习「错误处理」时,第一步不是问“它高级不高级”,而是问它是否真的能帮助你完成一个更清晰、更可验证的业务判断。

  • 先看它服务的专业判断是不是「工程」:设计失败路径,防止真实系统只会跑成功样例。
  • 任务有稳定流程,至少能写出输入、处理步骤、输出和失败分支。
  • 输出要么给人使用,要么给系统消费,格式不能随意漂移。
2. 引入边界:同时满足这些条件,才值得推进

只有当它能把问题从“凭感觉讨论”推进到“可设计、可评测、可复盘”时,才说明这个知识点真正进入了业务方案。

  • 当「错误处理」能改变客服话术、故障归因、需求评审、测试用例生成、发布说明整理里的设计、评测或风险控制动作时,才值得进入方案。
  • 适合把个人临场经验沉淀成团队可复用的 AI 工作流。
  • 适合客服、研发、测试、运营等重复性文字和判断任务。
3. 反向边界:这些情况先停下来

专业判断的价值,不只是知道什么时候用,更是知道什么时候不用。下面这些情况出现时,要先补数据、补流程、补权限或补评测,而不是继续堆 AI 能力。

  • 不要把内部异常堆栈直接展示给用户。
  • 重试要有次数限制,避免成本暴涨或重复操作。
  • 不要用 Prompt 掩盖流程不清、资料缺失、权限失控的问题。
  • 不要让模型自由输出给系统消费,结构化输出必须校验。
  • Prompt 改动没有版本记录,会导致线上质量变化无法复盘。
4. 上线前判断:能回答这些问题再落地
  • 能写出 Prompt 模板:角色、目标、输入、约束、输出、失败处理。
  • 能准备正例、反例、边界例,并用同一评测集比较版本。
  • 现场追问:换一个同事来用,能不能得到差不多质量的结果?如果不能,说明流程还没写清。
架构师总结:错误处理决定 AI 应用能不能在真实世界里活下来。 对架构师来说,错误处理 不是一个要背的名词,而是一把判断尺:先看前提是否成立,再看收益是否大于复杂度,最后看失败时有没有证据、兜底和责任人。
通用例子:先脱离技术看懂它

知识库检索失败时,可以提示“暂未找到资料,已转人工”,而不是让模型自由猜。

这个例子要看见的重点:设计失败路径,防止真实系统只会跑成功样例。 所以例子不是为了记故事,而是为了训练你在新场景里做同类判断。

投影 / Android 实战推演
  • 业务推演:投影 Android 场景里,日志拉取失败时,AI 助手应提示用户上传诊断包或提供手动排障步骤;工具超时时不能重复创建多个工单。
  • 你要补的证据:围绕「工程」列出数据、文档、日志、用户反馈或人工标注,避免只凭感觉判断。
  • 可交付物:沉淀 Prompt 模板、输入表单、输出结构、失败分支和版本记录。,让同事能照着复用,而不是只听你口头解释。
  • 验收指标:至少选一个质量指标、一个效率指标、一个风险指标;比如正确率/一次解决率、定位耗时/追问轮次、误导用户率/转人工率。
  • 迁移能力:同一套思路也能迁移到客服、测试、研发效率、运营分析和产品决策,不局限于投影业务。
老师会这样检查你是否真会了
  • 你能不能用一句人话解释「错误处理」,并说出它解决的是「工程」里的什么问题?
  • 你能不能举一个适用场景和一个不适用场景,并说明边界来自数据、流程、风险还是权限?
  • 你能不能把它落到一个真实小任务:输入是什么、输出是什么、验收指标是什么、失败时谁兜底?
  • 老师追问:换一个同事来用,能不能得到差不多质量的结果?如果不能,说明流程还没写清。
  • 练习产物:画出一个 AI 流程的失败分支:检索失败、模型超时、工具参数错误、用户信息不足时分别怎么处理。
精通标准:错误处理决定 AI 应用能不能在真实世界里活下来。 能精通的人,不是能背定义,而是能把它迁移到一个新业务里,写出判断表、数据要求、风险边界和落地动作。
业务判断方法

流程设计要覆盖失败状态,而不是只写成功路径。

学习产出

一个可复用的文档/代码/测试 Review Agent 工作流

10 分钟练习

把一次文档 review 输出设计成固定字段。

老师怎么判断你学会了

提交作业交一份结构化输出字段表和失败处理规则。

  • 合格字段能被系统消费。
  • 优秀能说明工具权限和失败兜底。
  • 没通过只输出大段文字,无法自动流转。
04 1-2 天

把 Prompt 变成团队工作流

本步 3 个知识点
学习目标

能把个人技巧沉淀成别人也能用的 SOP。

先记这一句话

晋升价值来自可复用流程,不是一次漂亮回答。

知识点清单与业务判断 先会用,再理解

1. SOP

知识点讲解把使用入口、输入要求、输出解释和复核方式写清楚。

老师板书 SOP 工作流

先有流程,再谈 AI 自动化;没有 SOP,AI 只是在加速混乱。

先用人话讲明白

SOP 是稳定可复用的操作流程。AI 要进入团队协作,必须嵌入 SOP,而不是依赖某个人临场发挥 Prompt。

类比可以把它理解成给一个聪明实习生写工作说明书:越清楚,返工越少。

为什么要学把一次性提问变成可复用流程。

把关键词拆开看
  • 步骤固定:谁在什么条件下做什么。
  • 输入输出明确:每一步接收什么、产出什么。
  • 可培训:新人照着做也能达到基本质量。

入门版理解:把使用入口、输入要求、输出解释和复核方式写清楚。

适用范围和边界
1. 优先原则:先满足前提,再谈使用

在实际工程里,任何概念都不能脱离场景硬套。学习「SOP」时,第一步不是问“它高级不高级”,而是问它是否真的能帮助你完成一个更清晰、更可验证的业务判断。

  • 先看它服务的专业判断是不是「工作流」:把一次性提问变成可复用流程。
  • 任务有稳定流程,至少能写出输入、处理步骤、输出和失败分支。
  • 输出要么给人使用,要么给系统消费,格式不能随意漂移。
2. 引入边界:同时满足这些条件,才值得推进

只有当它能把问题从“凭感觉讨论”推进到“可设计、可评测、可复盘”时,才说明这个知识点真正进入了业务方案。

  • 当「SOP」能改变客服话术、故障归因、需求评审、测试用例生成、发布说明整理里的设计、评测或风险控制动作时,才值得进入方案。
  • 适合把个人临场经验沉淀成团队可复用的 AI 工作流。
  • 适合客服、研发、测试、运营等重复性文字和判断任务。
3. 反向边界:这些情况先停下来

专业判断的价值,不只是知道什么时候用,更是知道什么时候不用。下面这些情况出现时,要先补数据、补流程、补权限或补评测,而不是继续堆 AI 能力。

  • 没有 SOP 的流程,AI 只能放大个人习惯差异。
  • SOP 过旧时,AI 会把过时流程自动化。
  • 不要用 Prompt 掩盖流程不清、资料缺失、权限失控的问题。
  • 不要让模型自由输出给系统消费,结构化输出必须校验。
  • Prompt 改动没有版本记录,会导致线上质量变化无法复盘。
4. 上线前判断:能回答这些问题再落地
  • 能写出 Prompt 模板:角色、目标、输入、约束、输出、失败处理。
  • 能准备正例、反例、边界例,并用同一评测集比较版本。
  • 现场追问:换一个同事来用,能不能得到差不多质量的结果?如果不能,说明流程还没写清。
架构师总结:先有流程,再谈 AI 自动化;没有 SOP,AI 只是在加速混乱。 对架构师来说,SOP 不是一个要背的名词,而是一把判断尺:先看前提是否成立,再看收益是否大于复杂度,最后看失败时有没有证据、兜底和责任人。
通用例子:先脱离技术看懂它

客服处理退款有固定流程,AI 只能在流程内辅助填写、查询和建议,不能随意改变规则。

这个例子要看见的重点:把一次性提问变成可复用流程。 所以例子不是为了记故事,而是为了训练你在新场景里做同类判断。

投影 / Android 实战推演
  • 业务推演:投影 Android 业务里,可以把“用户反馈投屏失败”的 SOP 固化为:收集设备信息、确认网络、拉取日志、检索已知问题、生成排障步骤、必要时建研发工单。
  • 你要补的证据:围绕「工作流」列出数据、文档、日志、用户反馈或人工标注,避免只凭感觉判断。
  • 可交付物:沉淀 Prompt 模板、输入表单、输出结构、失败分支和版本记录。,让同事能照着复用,而不是只听你口头解释。
  • 验收指标:至少选一个质量指标、一个效率指标、一个风险指标;比如正确率/一次解决率、定位耗时/追问轮次、误导用户率/转人工率。
  • 迁移能力:同一套思路也能迁移到客服、测试、研发效率、运营分析和产品决策,不局限于投影业务。
老师会这样检查你是否真会了
  • 你能不能用一句人话解释「SOP」,并说出它解决的是「工作流」里的什么问题?
  • 你能不能举一个适用场景和一个不适用场景,并说明边界来自数据、流程、风险还是权限?
  • 你能不能把它落到一个真实小任务:输入是什么、输出是什么、验收指标是什么、失败时谁兜底?
  • 老师追问:换一个同事来用,能不能得到差不多质量的结果?如果不能,说明流程还没写清。
  • 练习产物:选一个重复工作,写出标准输入、处理步骤、输出模板和异常分支,再考虑 AI 插在哪一步。
精通标准:先有流程,再谈 AI 自动化;没有 SOP,AI 只是在加速混乱。 能精通的人,不是能背定义,而是能把它迁移到一个新业务里,写出判断表、数据要求、风险边界和落地动作。
业务判断方法

同事不用问你也能跑起来。

2. 质量指标

知识点讲解用采用率、返工率、节省时间、问题发现率衡量效果。

老师板书 质量指标 评测

质量指标让 AI 从“感觉不错”变成“证据不错”。

先用人话讲明白

质量指标是衡量 AI 输出是否可用的标准,包括正确性、完整性、可读性、可执行性、一致性和用户满意度。

类比可以把它理解成给一个聪明实习生写工作说明书:越清楚,返工越少。

为什么要学把好不好从感觉变成可比较的证据。

把关键词拆开看
  • 任务指标:回答对不对、分类准不准。
  • 体验指标:是否清楚、是否省时间。
  • 流程指标:是否减少人工、是否提高处理效率。

入门版理解:用采用率、返工率、节省时间、问题发现率衡量效果。

适用范围和边界
1. 优先原则:先满足前提,再谈使用

在实际工程里,任何概念都不能脱离场景硬套。学习「质量指标」时,第一步不是问“它高级不高级”,而是问它是否真的能帮助你完成一个更清晰、更可验证的业务判断。

  • 先看它服务的专业判断是不是「评测」:把好不好从感觉变成可比较的证据。
  • 任务有稳定流程,至少能写出输入、处理步骤、输出和失败分支。
  • 输出要么给人使用,要么给系统消费,格式不能随意漂移。
2. 引入边界:同时满足这些条件,才值得推进

只有当它能把问题从“凭感觉讨论”推进到“可设计、可评测、可复盘”时,才说明这个知识点真正进入了业务方案。

  • 当「质量指标」能改变客服话术、故障归因、需求评审、测试用例生成、发布说明整理里的设计、评测或风险控制动作时,才值得进入方案。
  • 适合把个人临场经验沉淀成团队可复用的 AI 工作流。
  • 适合客服、研发、测试、运营等重复性文字和判断任务。
3. 反向边界:这些情况先停下来

专业判断的价值,不只是知道什么时候用,更是知道什么时候不用。下面这些情况出现时,要先补数据、补流程、补权限或补评测,而不是继续堆 AI 能力。

  • 单一指标会诱导模型优化偏,比如只追求简短会漏信息。
  • 指标要能被采集,否则无法持续改进。
  • 不要用 Prompt 掩盖流程不清、资料缺失、权限失控的问题。
  • 不要让模型自由输出给系统消费,结构化输出必须校验。
  • Prompt 改动没有版本记录,会导致线上质量变化无法复盘。
4. 上线前判断:能回答这些问题再落地
  • 能写出 Prompt 模板:角色、目标、输入、约束、输出、失败处理。
  • 能准备正例、反例、边界例,并用同一评测集比较版本。
  • 现场追问:换一个同事来用,能不能得到差不多质量的结果?如果不能,说明流程还没写清。
架构师总结:质量指标让 AI 从“感觉不错”变成“证据不错”。 对架构师来说,质量指标 不是一个要背的名词,而是一把判断尺:先看前提是否成立,再看收益是否大于复杂度,最后看失败时有没有证据、兜底和责任人。
通用例子:先脱离技术看懂它

一个文档总结助手不能只看语句流畅,还要看是否漏掉关键风险、是否编造内容。

这个例子要看见的重点:把好不好从感觉变成可比较的证据。 所以例子不是为了记故事,而是为了训练你在新场景里做同类判断。

投影 / Android 实战推演
  • 业务推演:投影 Android 场景里,AI 排障建议的质量指标可以包括:是否识别正确问题类型、是否引用正确版本文档、用户是否解决、是否减少客服二次追问。
  • 你要补的证据:围绕「评测」列出数据、文档、日志、用户反馈或人工标注,避免只凭感觉判断。
  • 可交付物:沉淀 Prompt 模板、输入表单、输出结构、失败分支和版本记录。,让同事能照着复用,而不是只听你口头解释。
  • 验收指标:至少选一个质量指标、一个效率指标、一个风险指标;比如正确率/一次解决率、定位耗时/追问轮次、误导用户率/转人工率。
  • 迁移能力:同一套思路也能迁移到客服、测试、研发效率、运营分析和产品决策,不局限于投影业务。
老师会这样检查你是否真会了
  • 你能不能用一句人话解释「质量指标」,并说出它解决的是「评测」里的什么问题?
  • 你能不能举一个适用场景和一个不适用场景,并说明边界来自数据、流程、风险还是权限?
  • 你能不能把它落到一个真实小任务:输入是什么、输出是什么、验收指标是什么、失败时谁兜底?
  • 老师追问:换一个同事来用,能不能得到差不多质量的结果?如果不能,说明流程还没写清。
  • 练习产物:为一个 AI 功能设计 5 个质量指标,并说明每个指标从哪里采集。
精通标准:质量指标让 AI 从“感觉不错”变成“证据不错”。 能精通的人,不是能背定义,而是能把它迁移到一个新业务里,写出判断表、数据要求、风险边界和落地动作。
业务判断方法

晋升材料要写指标变化。

3. 版本迭代

知识点讲解记录 prompt 版本、失败案例和改进原因。

老师板书 版本迭代 运营

AI 迭代要像发版一样可追踪、可比较、可回滚。

先用人话讲明白

版本迭代是持续改进 Prompt、知识库、模型、工具和评测集的过程。AI 应用不是一次写完,而是靠反馈闭环变强。

类比可以把它理解成给一个聪明实习生写工作说明书:越清楚,返工越少。

为什么要学让 Prompt、知识库和模型变化可追踪。

把关键词拆开看
  • 版本记录:每次改了什么要可追踪。
  • 对比评测:新旧版本用同一批样本比较。
  • 回滚能力:新版本变差时能快速退回。

入门版理解:记录 prompt 版本、失败案例和改进原因。

适用范围和边界
1. 优先原则:先满足前提,再谈使用

在实际工程里,任何概念都不能脱离场景硬套。学习「版本迭代」时,第一步不是问“它高级不高级”,而是问它是否真的能帮助你完成一个更清晰、更可验证的业务判断。

  • 先看它服务的专业判断是不是「运营」:让 Prompt、知识库和模型变化可追踪。
  • 任务有稳定流程,至少能写出输入、处理步骤、输出和失败分支。
  • 输出要么给人使用,要么给系统消费,格式不能随意漂移。
2. 引入边界:同时满足这些条件,才值得推进

只有当它能把问题从“凭感觉讨论”推进到“可设计、可评测、可复盘”时,才说明这个知识点真正进入了业务方案。

  • 当「版本迭代」能改变客服话术、故障归因、需求评审、测试用例生成、发布说明整理里的设计、评测或风险控制动作时,才值得进入方案。
  • 适合把个人临场经验沉淀成团队可复用的 AI 工作流。
  • 适合客服、研发、测试、运营等重复性文字和判断任务。
3. 反向边界:这些情况先停下来

专业判断的价值,不只是知道什么时候用,更是知道什么时候不用。下面这些情况出现时,要先补数据、补流程、补权限或补评测,而不是继续堆 AI 能力。

  • 不要在没有评测的情况下频繁线上改 Prompt。
  • 只看成功案例会让迭代方向失真,失败样本更重要。
  • 不要用 Prompt 掩盖流程不清、资料缺失、权限失控的问题。
  • 不要让模型自由输出给系统消费,结构化输出必须校验。
  • Prompt 改动没有版本记录,会导致线上质量变化无法复盘。
4. 上线前判断:能回答这些问题再落地
  • 能写出 Prompt 模板:角色、目标、输入、约束、输出、失败处理。
  • 能准备正例、反例、边界例,并用同一评测集比较版本。
  • 现场追问:换一个同事来用,能不能得到差不多质量的结果?如果不能,说明流程还没写清。
架构师总结:AI 迭代要像发版一样可追踪、可比较、可回滚。 对架构师来说,版本迭代 不是一个要背的名词,而是一把判断尺:先看前提是否成立,再看收益是否大于复杂度,最后看失败时有没有证据、兜底和责任人。
通用例子:先脱离技术看懂它

Prompt 改了一句话后,如果没有版本记录和评测,很难知道线上效果变化来自哪里。

这个例子要看见的重点:让 Prompt、知识库和模型变化可追踪。 所以例子不是为了记故事,而是为了训练你在新场景里做同类判断。

投影 / Android 实战推演
  • 业务推演:投影 Android 业务里,每次 App 发版、知识库更新、错误码新增,都可能影响 AI 助手。要记录模型/Prompt/知识库版本与 App 版本的对应关系。
  • 你要补的证据:围绕「运营」列出数据、文档、日志、用户反馈或人工标注,避免只凭感觉判断。
  • 可交付物:沉淀 Prompt 模板、输入表单、输出结构、失败分支和版本记录。,让同事能照着复用,而不是只听你口头解释。
  • 验收指标:至少选一个质量指标、一个效率指标、一个风险指标;比如正确率/一次解决率、定位耗时/追问轮次、误导用户率/转人工率。
  • 迁移能力:同一套思路也能迁移到客服、测试、研发效率、运营分析和产品决策,不局限于投影业务。
老师会这样检查你是否真会了
  • 你能不能用一句人话解释「版本迭代」,并说出它解决的是「运营」里的什么问题?
  • 你能不能举一个适用场景和一个不适用场景,并说明边界来自数据、流程、风险还是权限?
  • 你能不能把它落到一个真实小任务:输入是什么、输出是什么、验收指标是什么、失败时谁兜底?
  • 老师追问:换一个同事来用,能不能得到差不多质量的结果?如果不能,说明流程还没写清。
  • 练习产物:建立一张迭代表:版本号、改动内容、评测结果、线上观察、是否回滚。
精通标准:AI 迭代要像发版一样可追踪、可比较、可回滚。 能精通的人,不是能背定义,而是能把它迁移到一个新业务里,写出判断表、数据要求、风险边界和落地动作。
业务判断方法

让工作流可持续优化。

学习产出

一个可复用的文档/代码/测试 Review Agent 工作流

10 分钟练习

把一个 prompt 改成团队 SOP,包括谁用、何时用、怎么验收。

老师怎么判断你学会了

提交作业交一份 AI 工作流 SOP 和前后对比指标。

  • 合格别人能照着用。
  • 优秀能证明节省时间或降低返工。
  • 没通过只有个人收藏的 prompt,没有复用和指标。
系统资料

这些资料用于深挖原理。先完成本页作业,再去看资料,效率会高很多。