AI 晋升学习模块

Module 04

RAG 与企业知识工程

让模型可靠使用内部知识,是企业 AI 落地的第一站。

老师带学方式

你不需要一次全懂

先记一句话,再做 10 分钟练习,最后交一个小作业。老师只看你能不能把知识用到真实业务判断里。

每一步按 4 个动作学
  1. 先背一句话,建立判断框架。
  2. 看知识点,但只抓业务判断方法。
  3. 做 10 分钟练习,套到你的场景。
  4. 按“合格 / 优秀 / 没通过”检查作业。

Lessons

本模块学习步骤

每张卡都是一个小模块,建议一天只学 1-2 张,学完必须交作业,否则就算只看了一遍。

01 0.5 天

先定义知识边界

本步 3 个知识点
学习目标

知道哪些知识应该进库,哪些不应该交给模型猜。

先记这一句话

RAG 的第一步不是向量库,而是知识范围和答案责任。

知识点清单与业务判断 先会用,再理解

1. 知识范围

知识点讲解确定系统回答哪些问题,不回答哪些问题。

老师板书 知识范围 知识库

知识范围是 RAG 的地图边界。

先用人话讲明白

知识范围定义 RAG 知识库应该包含什么、不包含什么。范围清楚,系统才知道能回答哪些问题,什么时候拒答。

类比可以把它理解成给模型配一间资料室,并规定它必须带着资料回答。

为什么要学规定 AI 能回答和不能回答什么。

把关键词拆开看
  • 主题边界:覆盖哪些产品、功能、流程。
  • 版本边界:资料对应哪个版本和时间。
  • 责任边界:哪些问题交给人工或其他系统。

入门版理解:确定系统回答哪些问题,不回答哪些问题。

适用范围和边界
1. 优先原则:先满足前提,再谈使用

在实际工程里,任何概念都不能脱离场景硬套。学习「知识范围」时,第一步不是问“它高级不高级”,而是问它是否真的能帮助你完成一个更清晰、更可验证的业务判断。

  • 先看它服务的专业判断是不是「知识库」:规定 AI 能回答和不能回答什么。
  • 知识库资料有来源、版本、更新时间、适用范围和负责人。
  • 知道用户问题应命中哪些资料,也知道没有资料时必须拒答。
2. 引入边界:同时满足这些条件,才值得推进

只有当它能把问题从“凭感觉讨论”推进到“可设计、可评测、可复盘”时,才说明这个知识点真正进入了业务方案。

  • 当「知识范围」能改变设备说明书、错误码表、排障 SOP、版本发布说明、已知问题库里的设计、评测或风险控制动作时,才值得进入方案。
  • 适合企业知识、产品文档、错误码、FAQ、SOP、发布说明等可追溯问答。
  • 适合事实会变化、需要引用来源、需要按版本和权限区分的场景。
3. 反向边界:这些情况先停下来

专业判断的价值,不只是知道什么时候用,更是知道什么时候不用。下面这些情况出现时,要先补数据、补流程、补权限或补评测,而不是继续堆 AI 能力。

  • 范围过宽会增加错误回答风险。
  • 范围过窄会导致用户常问问题检索不到。
  • 不要把未经审核的聊天记录、论坛经验和过期文档直接进知识库。
  • 不要只靠向量检索处理型号、版本号、错误码这类精确信息。
  • 切片错误会把条件和答案拆开,导致模型拿到半截依据。
4. 上线前判断:能回答这些问题再落地
  • 能给每条答案追到具体文档、段落、版本和适用范围。
  • 能覆盖有答案、无答案、冲突资料、旧版本资料、精确错误码等评测样本。
  • 现场追问:答案里的每个关键结论能不能追到资料、版本和适用范围?
架构师总结:知识范围是 RAG 的地图边界。 对架构师来说,知识范围 不是一个要背的名词,而是一把判断尺:先看前提是否成立,再看收益是否大于复杂度,最后看失败时有没有证据、兜底和责任人。
通用例子:先脱离技术看懂它

公司制度问答只覆盖内部制度,不应该回答法律咨询或医疗建议。

这个例子要看见的重点:规定 AI 能回答和不能回答什么。 所以例子不是为了记故事,而是为了训练你在新场景里做同类判断。

投影 / Android 实战推演
  • 业务推演:投影 Android 业务里,知识库可以覆盖投屏协议、设备手册、App FAQ、错误码、版本发布说明;不应回答非官方刷机、硬件拆修、赔偿承诺等超范围问题。
  • 你要补的证据:围绕「知识库」列出数据、文档、日志、用户反馈或人工标注,避免只凭感觉判断。
  • 可交付物:沉淀 知识范围、资料等级、切片策略、检索评测和更新机制。,让同事能照着复用,而不是只听你口头解释。
  • 验收指标:至少选一个质量指标、一个效率指标、一个风险指标;比如正确率/一次解决率、定位耗时/追问轮次、误导用户率/转人工率。
  • 迁移能力:同一套思路也能迁移到客服、测试、研发效率、运营分析和产品决策,不局限于投影业务。
老师会这样检查你是否真会了
  • 你能不能用一句人话解释「知识范围」,并说出它解决的是「知识库」里的什么问题?
  • 你能不能举一个适用场景和一个不适用场景,并说明边界来自数据、流程、风险还是权限?
  • 你能不能把它落到一个真实小任务:输入是什么、输出是什么、验收指标是什么、失败时谁兜底?
  • 老师追问:答案里的每个关键结论能不能追到资料、版本和适用范围?
  • 练习产物:为你们的 AI 知识库写“可回答/不可回答/需转人工”三张清单。
精通标准:知识范围是 RAG 的地图边界。 能精通的人,不是能背定义,而是能把它迁移到一个新业务里,写出判断表、数据要求、风险边界和落地动作。
业务判断方法

范围越清楚,评测和治理越容易。

2. 资料可信度

知识点讲解文档来源、更新时间、负责人会影响答案可靠性。

老师板书 资料可信度 知识库

RAG 的回答质量先取决于资料质量。

先用人话讲明白

资料可信度是判断知识库内容是否权威、准确、及时。RAG 引用了资料,不代表资料本身一定可靠。

类比可以把它理解成给模型配一间资料室,并规定它必须带着资料回答。

为什么要学决定哪些资料能被引用,哪些只能当线索。

把关键词拆开看
  • 来源权威:官方文档、研发确认、客服经验的权重不同。
  • 更新时间:旧资料可能已被新版本替代。
  • 冲突处理:多份资料矛盾时要有优先级。

入门版理解:文档来源、更新时间、负责人会影响答案可靠性。

适用范围和边界
1. 优先原则:先满足前提,再谈使用

在实际工程里,任何概念都不能脱离场景硬套。学习「资料可信度」时,第一步不是问“它高级不高级”,而是问它是否真的能帮助你完成一个更清晰、更可验证的业务判断。

  • 先看它服务的专业判断是不是「知识库」:决定哪些资料能被引用,哪些只能当线索。
  • 知识库资料有来源、版本、更新时间、适用范围和负责人。
  • 知道用户问题应命中哪些资料,也知道没有资料时必须拒答。
2. 引入边界:同时满足这些条件,才值得推进

只有当它能把问题从“凭感觉讨论”推进到“可设计、可评测、可复盘”时,才说明这个知识点真正进入了业务方案。

  • 当「资料可信度」能改变设备说明书、错误码表、排障 SOP、版本发布说明、已知问题库里的设计、评测或风险控制动作时,才值得进入方案。
  • 适合企业知识、产品文档、错误码、FAQ、SOP、发布说明等可追溯问答。
  • 适合事实会变化、需要引用来源、需要按版本和权限区分的场景。
3. 反向边界:这些情况先停下来

专业判断的价值,不只是知道什么时候用,更是知道什么时候不用。下面这些情况出现时,要先补数据、补流程、补权限或补评测,而不是继续堆 AI 能力。

  • 把聊天记录直接进知识库风险很高,必须审核。
  • 没有更新时间和负责人,资料很快会变成知识垃圾。
  • 不要把未经审核的聊天记录、论坛经验和过期文档直接进知识库。
  • 不要只靠向量检索处理型号、版本号、错误码这类精确信息。
  • 切片错误会把条件和答案拆开,导致模型拿到半截依据。
4. 上线前判断:能回答这些问题再落地
  • 能给每条答案追到具体文档、段落、版本和适用范围。
  • 能覆盖有答案、无答案、冲突资料、旧版本资料、精确错误码等评测样本。
  • 现场追问:答案里的每个关键结论能不能追到资料、版本和适用范围?
架构师总结:RAG 的回答质量先取决于资料质量。 对架构师来说,资料可信度 不是一个要背的名词,而是一把判断尺:先看前提是否成立,再看收益是否大于复杂度,最后看失败时有没有证据、兜底和责任人。
通用例子:先脱离技术看懂它

一份过期 FAQ 即使被检索到,也不应该覆盖最新产品公告。

这个例子要看见的重点:决定哪些资料能被引用,哪些只能当线索。 所以例子不是为了记故事,而是为了训练你在新场景里做同类判断。

投影 / Android 实战推演
  • 业务推演:投影 Android 业务里,研发发布说明和官方排障 SOP 应高于群聊经验;某机型兼容问题要标注适用版本,避免把旧问题当成当前问题。
  • 你要补的证据:围绕「知识库」列出数据、文档、日志、用户反馈或人工标注,避免只凭感觉判断。
  • 可交付物:沉淀 知识范围、资料等级、切片策略、检索评测和更新机制。,让同事能照着复用,而不是只听你口头解释。
  • 验收指标:至少选一个质量指标、一个效率指标、一个风险指标;比如正确率/一次解决率、定位耗时/追问轮次、误导用户率/转人工率。
  • 迁移能力:同一套思路也能迁移到客服、测试、研发效率、运营分析和产品决策,不局限于投影业务。
老师会这样检查你是否真会了
  • 你能不能用一句人话解释「资料可信度」,并说出它解决的是「知识库」里的什么问题?
  • 你能不能举一个适用场景和一个不适用场景,并说明边界来自数据、流程、风险还是权限?
  • 你能不能把它落到一个真实小任务:输入是什么、输出是什么、验收指标是什么、失败时谁兜底?
  • 老师追问:答案里的每个关键结论能不能追到资料、版本和适用范围?
  • 练习产物:给知识库资料打等级:官方确认、团队经验、待验证线索,并设计不同引用规则。
精通标准:RAG 的回答质量先取决于资料质量。 能精通的人,不是能背定义,而是能把它迁移到一个新业务里,写出判断表、数据要求、风险边界和落地动作。
业务判断方法

过期资料不能和正式制度混在一起。

3. 拒答边界

知识点讲解没有资料支持时应拒答或转人工。

老师板书 拒答边界 知识库

会拒答的 AI 才更值得信任。

先用人话讲明白

拒答边界规定模型什么时候必须说“不知道、不能做、需要人工”。它是降低幻觉和越权的重要机制。

类比可以把它理解成给模型配一间资料室,并规定它必须带着资料回答。

为什么要学让模型在没依据或高风险时停下来。

把关键词拆开看
  • 无资料拒答:知识库没有依据时不编。
  • 高风险拒答:涉及隐私、支付、法律、硬件危险操作时谨慎。
  • 越权拒答:用户要求超出权限时拒绝执行。

入门版理解:没有资料支持时应拒答或转人工。

适用范围和边界
1. 优先原则:先满足前提,再谈使用

在实际工程里,任何概念都不能脱离场景硬套。学习「拒答边界」时,第一步不是问“它高级不高级”,而是问它是否真的能帮助你完成一个更清晰、更可验证的业务判断。

  • 先看它服务的专业判断是不是「知识库」:让模型在没依据或高风险时停下来。
  • 知识库资料有来源、版本、更新时间、适用范围和负责人。
  • 知道用户问题应命中哪些资料,也知道没有资料时必须拒答。
2. 引入边界:同时满足这些条件,才值得推进

只有当它能把问题从“凭感觉讨论”推进到“可设计、可评测、可复盘”时,才说明这个知识点真正进入了业务方案。

  • 当「拒答边界」能改变设备说明书、错误码表、排障 SOP、版本发布说明、已知问题库里的设计、评测或风险控制动作时,才值得进入方案。
  • 适合企业知识、产品文档、错误码、FAQ、SOP、发布说明等可追溯问答。
  • 适合事实会变化、需要引用来源、需要按版本和权限区分的场景。
3. 反向边界:这些情况先停下来

专业判断的价值,不只是知道什么时候用,更是知道什么时候不用。下面这些情况出现时,要先补数据、补流程、补权限或补评测,而不是继续堆 AI 能力。

  • 拒答不能只是“不知道”,要给安全替代方案。
  • 拒答规则要配合权限系统,不能只靠 Prompt。
  • 不要把未经审核的聊天记录、论坛经验和过期文档直接进知识库。
  • 不要只靠向量检索处理型号、版本号、错误码这类精确信息。
  • 切片错误会把条件和答案拆开,导致模型拿到半截依据。
4. 上线前判断:能回答这些问题再落地
  • 能给每条答案追到具体文档、段落、版本和适用范围。
  • 能覆盖有答案、无答案、冲突资料、旧版本资料、精确错误码等评测样本。
  • 现场追问:答案里的每个关键结论能不能追到资料、版本和适用范围?
架构师总结:会拒答的 AI 才更值得信任。 对架构师来说,拒答边界 不是一个要背的名词,而是一把判断尺:先看前提是否成立,再看收益是否大于复杂度,最后看失败时有没有证据、兜底和责任人。
通用例子:先脱离技术看懂它

用户要求客服机器人提供他人账号信息,系统必须拒答,而不是尝试帮忙。

这个例子要看见的重点:让模型在没依据或高风险时停下来。 所以例子不是为了记故事,而是为了训练你在新场景里做同类判断。

投影 / Android 实战推演
  • 业务推演:投影 Android 场景里,用户要求绕过会员限制、刷非官方固件、获取他人设备信息、删除诊断日志,AI 应拒答或转人工,而不是给步骤。
  • 你要补的证据:围绕「知识库」列出数据、文档、日志、用户反馈或人工标注,避免只凭感觉判断。
  • 可交付物:沉淀 知识范围、资料等级、切片策略、检索评测和更新机制。,让同事能照着复用,而不是只听你口头解释。
  • 验收指标:至少选一个质量指标、一个效率指标、一个风险指标;比如正确率/一次解决率、定位耗时/追问轮次、误导用户率/转人工率。
  • 迁移能力:同一套思路也能迁移到客服、测试、研发效率、运营分析和产品决策,不局限于投影业务。
老师会这样检查你是否真会了
  • 你能不能用一句人话解释「拒答边界」,并说出它解决的是「知识库」里的什么问题?
  • 你能不能举一个适用场景和一个不适用场景,并说明边界来自数据、流程、风险还是权限?
  • 你能不能把它落到一个真实小任务:输入是什么、输出是什么、验收指标是什么、失败时谁兜底?
  • 老师追问:答案里的每个关键结论能不能追到资料、版本和适用范围?
  • 练习产物:写 10 个必须拒答的问题,并为每个问题写一个安全替代回答。
精通标准:会拒答的 AI 才更值得信任。 能精通的人,不是能背定义,而是能把它迁移到一个新业务里,写出判断表、数据要求、风险边界和落地动作。
业务判断方法

高风险问题不要让模型自由发挥。

学习产出

一个带评测报告的部门知识助手

10 分钟练习

列出一个知识助手应该回答和不该回答的 10 类问题。

老师怎么判断你学会了

提交作业交一张知识范围表。

  • 合格能写清回答边界。
  • 优秀能标注资料负责人和更新时间。
  • 没通过把所有文件都丢进去,不设边界。
02 1 天

切片、向量与检索

本步 3 个知识点
学习目标

理解为什么资料进库后仍可能找不到正确内容。

先记这一句话

RAG 不是存进去就行,切片和检索质量决定模型看到什么。

知识点清单与业务判断 先会用,再理解

1. 切片 Chunk

知识点讲解把长文档拆成适合检索的小块。

老师板书 切片 Chunk 知识库

切片决定 RAG 能不能把正确资料递给模型。

先用人话讲明白

切片是把长文档拆成适合检索的小块。切得好,检索能找到完整答案;切得差,模型拿到碎片就会误解。

类比可以把它理解成给模型配一间资料室,并规定它必须带着资料回答。

为什么要学决定长文档如何被检索到正确片段。

把关键词拆开看
  • 粒度:太大噪声多,太小上下文不足。
  • 边界:按标题、步骤、FAQ、代码块等自然结构切。
  • 重叠:相邻切片适当保留上下文,避免断句丢义。

入门版理解:把长文档拆成适合检索的小块。

适用范围和边界
1. 优先原则:先满足前提,再谈使用

在实际工程里,任何概念都不能脱离场景硬套。学习「切片 Chunk」时,第一步不是问“它高级不高级”,而是问它是否真的能帮助你完成一个更清晰、更可验证的业务判断。

  • 先看它服务的专业判断是不是「知识库」:决定长文档如何被检索到正确片段。
  • 知识库资料有来源、版本、更新时间、适用范围和负责人。
  • 知道用户问题应命中哪些资料,也知道没有资料时必须拒答。
2. 引入边界:同时满足这些条件,才值得推进

只有当它能把问题从“凭感觉讨论”推进到“可设计、可评测、可复盘”时,才说明这个知识点真正进入了业务方案。

  • 当「切片 Chunk」能改变设备说明书、错误码表、排障 SOP、版本发布说明、已知问题库里的设计、评测或风险控制动作时,才值得进入方案。
  • 适合企业知识、产品文档、错误码、FAQ、SOP、发布说明等可追溯问答。
  • 适合事实会变化、需要引用来源、需要按版本和权限区分的场景。
3. 反向边界:这些情况先停下来

专业判断的价值,不只是知道什么时候用,更是知道什么时候不用。下面这些情况出现时,要先补数据、补流程、补权限或补评测,而不是继续堆 AI 能力。

  • 硬按字数切会把关键条件和答案拆开。
  • 切片不带标题和版本信息,会导致检索结果难判断适用性。
  • 不要把未经审核的聊天记录、论坛经验和过期文档直接进知识库。
  • 不要只靠向量检索处理型号、版本号、错误码这类精确信息。
  • 切片错误会把条件和答案拆开,导致模型拿到半截依据。
4. 上线前判断:能回答这些问题再落地
  • 能给每条答案追到具体文档、段落、版本和适用范围。
  • 能覆盖有答案、无答案、冲突资料、旧版本资料、精确错误码等评测样本。
  • 现场追问:答案里的每个关键结论能不能追到资料、版本和适用范围?
架构师总结:切片决定 RAG 能不能把正确资料递给模型。 对架构师来说,切片 Chunk 不是一个要背的名词,而是一把判断尺:先看前提是否成立,再看收益是否大于复杂度,最后看失败时有没有证据、兜底和责任人。
通用例子:先脱离技术看懂它

把一份手册按章节和问题拆分,比每 500 字硬切更容易检索到完整答案。

这个例子要看见的重点:决定长文档如何被检索到正确片段。 所以例子不是为了记故事,而是为了训练你在新场景里做同类判断。

投影 / Android 实战推演
  • 业务推演:投影 Android 业务里,排障文档可按“问题现象、适用机型、原因、步骤、注意事项”切片;错误码文档要保证错误码和解释在同一切片里。
  • 你要补的证据:围绕「知识库」列出数据、文档、日志、用户反馈或人工标注,避免只凭感觉判断。
  • 可交付物:沉淀 知识范围、资料等级、切片策略、检索评测和更新机制。,让同事能照着复用,而不是只听你口头解释。
  • 验收指标:至少选一个质量指标、一个效率指标、一个风险指标;比如正确率/一次解决率、定位耗时/追问轮次、误导用户率/转人工率。
  • 迁移能力:同一套思路也能迁移到客服、测试、研发效率、运营分析和产品决策,不局限于投影业务。
老师会这样检查你是否真会了
  • 你能不能用一句人话解释「切片 Chunk」,并说出它解决的是「知识库」里的什么问题?
  • 你能不能举一个适用场景和一个不适用场景,并说明边界来自数据、流程、风险还是权限?
  • 你能不能把它落到一个真实小任务:输入是什么、输出是什么、验收指标是什么、失败时谁兜底?
  • 老师追问:答案里的每个关键结论能不能追到资料、版本和适用范围?
  • 练习产物:拿一页排障文档,手工设计 3 个切片,并说明每个切片标题和元数据。
精通标准:切片决定 RAG 能不能把正确资料递给模型。 能精通的人,不是能背定义,而是能把它迁移到一个新业务里,写出判断表、数据要求、风险边界和落地动作。
业务判断方法

切片太大噪声多,太小上下文不完整。

2. 向量检索

知识点讲解用语义相似度找相关片段。

老师板书 向量检索 检索

向量检索解决用户说法多样的问题。

先用人话讲明白

向量检索用 Embedding 找语义相近的内容。它擅长处理同义表达和模糊问题,是 RAG 常用召回方式。

类比可以把它理解成给模型配一间资料室,并规定它必须带着资料回答。

为什么要学解决用户说法不同但语义相近的问题。

把关键词拆开看
  • 语义相似:表达不同但意思接近也能找到。
  • 召回候选:先找一批可能相关资料。
  • 向量库:存储和搜索文档向量的系统。

入门版理解:用语义相似度找相关片段。

适用范围和边界
1. 优先原则:先满足前提,再谈使用

在实际工程里,任何概念都不能脱离场景硬套。学习「向量检索」时,第一步不是问“它高级不高级”,而是问它是否真的能帮助你完成一个更清晰、更可验证的业务判断。

  • 先看它服务的专业判断是不是「检索」:解决用户说法不同但语义相近的问题。
  • 知识库资料有来源、版本、更新时间、适用范围和负责人。
  • 知道用户问题应命中哪些资料,也知道没有资料时必须拒答。
2. 引入边界:同时满足这些条件,才值得推进

只有当它能把问题从“凭感觉讨论”推进到“可设计、可评测、可复盘”时,才说明这个知识点真正进入了业务方案。

  • 当「向量检索」能改变设备说明书、错误码表、排障 SOP、版本发布说明、已知问题库里的设计、评测或风险控制动作时,才值得进入方案。
  • 适合企业知识、产品文档、错误码、FAQ、SOP、发布说明等可追溯问答。
  • 适合事实会变化、需要引用来源、需要按版本和权限区分的场景。
3. 反向边界:这些情况先停下来

专业判断的价值,不只是知道什么时候用,更是知道什么时候不用。下面这些情况出现时,要先补数据、补流程、补权限或补评测,而不是继续堆 AI 能力。

  • 精确型号、版本号、错误码不能只靠向量检索。
  • 语义相似不等于适用,需要结合元数据过滤。
  • 不要把未经审核的聊天记录、论坛经验和过期文档直接进知识库。
  • 不要只靠向量检索处理型号、版本号、错误码这类精确信息。
  • 切片错误会把条件和答案拆开,导致模型拿到半截依据。
4. 上线前判断:能回答这些问题再落地
  • 能给每条答案追到具体文档、段落、版本和适用范围。
  • 能覆盖有答案、无答案、冲突资料、旧版本资料、精确错误码等评测样本。
  • 现场追问:答案里的每个关键结论能不能追到资料、版本和适用范围?
架构师总结:向量检索解决用户说法多样的问题。 对架构师来说,向量检索 不是一个要背的名词,而是一把判断尺:先看前提是否成立,再看收益是否大于复杂度,最后看失败时有没有证据、兜底和责任人。
通用例子:先脱离技术看懂它

用户问“打不开页面”,系统能找到“页面加载失败”“白屏”等相关文档。

这个例子要看见的重点:解决用户说法不同但语义相近的问题。 所以例子不是为了记故事,而是为了训练你在新场景里做同类判断。

投影 / Android 实战推演
  • 业务推演:投影 Android 场景里,用户说“电视找不到手机”“搜不到设备”“投屏列表空白”,向量检索应能召回“设备发现失败”的排障文档。
  • 你要补的证据:围绕「检索」列出数据、文档、日志、用户反馈或人工标注,避免只凭感觉判断。
  • 可交付物:沉淀 知识范围、资料等级、切片策略、检索评测和更新机制。,让同事能照着复用,而不是只听你口头解释。
  • 验收指标:至少选一个质量指标、一个效率指标、一个风险指标;比如正确率/一次解决率、定位耗时/追问轮次、误导用户率/转人工率。
  • 迁移能力:同一套思路也能迁移到客服、测试、研发效率、运营分析和产品决策,不局限于投影业务。
老师会这样检查你是否真会了
  • 你能不能用一句人话解释「向量检索」,并说出它解决的是「检索」里的什么问题?
  • 你能不能举一个适用场景和一个不适用场景,并说明边界来自数据、流程、风险还是权限?
  • 你能不能把它落到一个真实小任务:输入是什么、输出是什么、验收指标是什么、失败时谁兜底?
  • 老师追问:答案里的每个关键结论能不能追到资料、版本和适用范围?
  • 练习产物:列出 5 个用户口语表达,写出它们应该命中的标准知识库条目。
精通标准:向量检索解决用户说法多样的问题。 能精通的人,不是能背定义,而是能把它迁移到一个新业务里,写出判断表、数据要求、风险边界和落地动作。
业务判断方法

适合同义表达,不保证一定找全。

3. 关键词检索

知识点讲解用精确词匹配找内容。

老师板书 关键词检索 检索

关键词检索适合找“精确名字”,向量检索适合找“相似意思”。

先用人话讲明白

关键词检索按精确词、编号、错误码、标题等匹配内容。它不如向量检索懂语义,但对精确实体非常可靠。

类比可以把它理解成给模型配一间资料室,并规定它必须带着资料回答。

为什么要学解决错误码、型号、版本号这类必须精确命中的问题。

把关键词拆开看
  • 精确匹配:型号、错误码、接口名、版本号。
  • 可控性:命中原因更容易解释。
  • 召回短板:用户换一种说法可能搜不到。

入门版理解:用精确词匹配找内容。

适用范围和边界
1. 优先原则:先满足前提,再谈使用

在实际工程里,任何概念都不能脱离场景硬套。学习「关键词检索」时,第一步不是问“它高级不高级”,而是问它是否真的能帮助你完成一个更清晰、更可验证的业务判断。

  • 先看它服务的专业判断是不是「检索」:解决错误码、型号、版本号这类必须精确命中的问题。
  • 知识库资料有来源、版本、更新时间、适用范围和负责人。
  • 知道用户问题应命中哪些资料,也知道没有资料时必须拒答。
2. 引入边界:同时满足这些条件,才值得推进

只有当它能把问题从“凭感觉讨论”推进到“可设计、可评测、可复盘”时,才说明这个知识点真正进入了业务方案。

  • 当「关键词检索」能改变设备说明书、错误码表、排障 SOP、版本发布说明、已知问题库里的设计、评测或风险控制动作时,才值得进入方案。
  • 适合企业知识、产品文档、错误码、FAQ、SOP、发布说明等可追溯问答。
  • 适合事实会变化、需要引用来源、需要按版本和权限区分的场景。
3. 反向边界:这些情况先停下来

专业判断的价值,不只是知道什么时候用,更是知道什么时候不用。下面这些情况出现时,要先补数据、补流程、补权限或补评测,而不是继续堆 AI 能力。

  • 只靠关键词会漏掉口语化反馈。
  • 关键词字典要维护同义词和别名。
  • 不要把未经审核的聊天记录、论坛经验和过期文档直接进知识库。
  • 不要只靠向量检索处理型号、版本号、错误码这类精确信息。
  • 切片错误会把条件和答案拆开,导致模型拿到半截依据。
4. 上线前判断:能回答这些问题再落地
  • 能给每条答案追到具体文档、段落、版本和适用范围。
  • 能覆盖有答案、无答案、冲突资料、旧版本资料、精确错误码等评测样本。
  • 现场追问:答案里的每个关键结论能不能追到资料、版本和适用范围?
架构师总结:关键词检索适合找“精确名字”,向量检索适合找“相似意思”。 对架构师来说,关键词检索 不是一个要背的名词,而是一把判断尺:先看前提是否成立,再看收益是否大于复杂度,最后看失败时有没有证据、兜底和责任人。
通用例子:先脱离技术看懂它

搜索错误码 E1024,用关键词检索通常比语义检索更稳。

这个例子要看见的重点:解决错误码、型号、版本号这类必须精确命中的问题。 所以例子不是为了记故事,而是为了训练你在新场景里做同类判断。

投影 / Android 实战推演
  • 业务推演:投影 Android 业务里,设备型号、固件版本、Android API、错误码、日志关键字必须支持关键词检索,否则会漏掉精确文档。
  • 你要补的证据:围绕「检索」列出数据、文档、日志、用户反馈或人工标注,避免只凭感觉判断。
  • 可交付物:沉淀 知识范围、资料等级、切片策略、检索评测和更新机制。,让同事能照着复用,而不是只听你口头解释。
  • 验收指标:至少选一个质量指标、一个效率指标、一个风险指标;比如正确率/一次解决率、定位耗时/追问轮次、误导用户率/转人工率。
  • 迁移能力:同一套思路也能迁移到客服、测试、研发效率、运营分析和产品决策,不局限于投影业务。
老师会这样检查你是否真会了
  • 你能不能用一句人话解释「关键词检索」,并说出它解决的是「检索」里的什么问题?
  • 你能不能举一个适用场景和一个不适用场景,并说明边界来自数据、流程、风险还是权限?
  • 你能不能把它落到一个真实小任务:输入是什么、输出是什么、验收指标是什么、失败时谁兜底?
  • 老师追问:答案里的每个关键结论能不能追到资料、版本和适用范围?
  • 练习产物:整理 20 个投影业务常见关键词:型号、错误码、协议、模块名,并补充同义词。
精通标准:关键词检索适合找“精确名字”,向量检索适合找“相似意思”。 能精通的人,不是能背定义,而是能把它迁移到一个新业务里,写出判断表、数据要求、风险边界和落地动作。
业务判断方法

适合制度编号、专有名词和数字。

学习产出

一个带评测报告的部门知识助手

10 分钟练习

拿一份制度文档,设计切片规则和检索关键词。

老师怎么判断你学会了

提交作业交一份切片与检索策略说明。

  • 合格能说明切片大小取舍。
  • 优秀能组合向量和关键词检索。
  • 没通过只说用了向量库,但不知道召回了什么。
03 1 天

Rerank、引用与答案生成

本步 3 个知识点
学习目标

能让答案有来源、可追踪、可复核。

先记这一句话

好的 RAG 答案必须知道自己依据了哪段资料。

知识点清单与业务判断 先会用,再理解

1. Rerank

知识点讲解对初步检索结果重新排序,提高相关片段位置。

老师板书 Rerank 检索

Rerank 是让 RAG 不只找得到,还要排得对。

先用人话讲明白

Rerank 是对初步检索结果重新排序,把真正相关、权威、适用的资料排到前面。它解决召回结果多但顺序不准的问题。

类比可以把它理解成给模型配一间资料室,并规定它必须带着资料回答。

为什么要学让召回结果按真实相关性和适用性重新排队。

把关键词拆开看
  • 候选重排:先召回,再精排。
  • 相关性:判断资料是否真正回答问题。
  • 适用性:结合版本、机型、时间和权限。

入门版理解:对初步检索结果重新排序,提高相关片段位置。

适用范围和边界
1. 优先原则:先满足前提,再谈使用

在实际工程里,任何概念都不能脱离场景硬套。学习「Rerank」时,第一步不是问“它高级不高级”,而是问它是否真的能帮助你完成一个更清晰、更可验证的业务判断。

  • 先看它服务的专业判断是不是「检索」:让召回结果按真实相关性和适用性重新排队。
  • 知识库资料有来源、版本、更新时间、适用范围和负责人。
  • 知道用户问题应命中哪些资料,也知道没有资料时必须拒答。
2. 引入边界:同时满足这些条件,才值得推进

只有当它能把问题从“凭感觉讨论”推进到“可设计、可评测、可复盘”时,才说明这个知识点真正进入了业务方案。

  • 当「Rerank」能改变设备说明书、错误码表、排障 SOP、版本发布说明、已知问题库里的设计、评测或风险控制动作时,才值得进入方案。
  • 适合企业知识、产品文档、错误码、FAQ、SOP、发布说明等可追溯问答。
  • 适合事实会变化、需要引用来源、需要按版本和权限区分的场景。
3. 反向边界:这些情况先停下来

专业判断的价值,不只是知道什么时候用,更是知道什么时候不用。下面这些情况出现时,要先补数据、补流程、补权限或补评测,而不是继续堆 AI 能力。

  • Rerank 不能弥补知识库没有正确资料。
  • 重排模型也需要评测,否则可能把看似相关但不适用的内容排前。
  • 不要把未经审核的聊天记录、论坛经验和过期文档直接进知识库。
  • 不要只靠向量检索处理型号、版本号、错误码这类精确信息。
  • 切片错误会把条件和答案拆开,导致模型拿到半截依据。
4. 上线前判断:能回答这些问题再落地
  • 能给每条答案追到具体文档、段落、版本和适用范围。
  • 能覆盖有答案、无答案、冲突资料、旧版本资料、精确错误码等评测样本。
  • 现场追问:答案里的每个关键结论能不能追到资料、版本和适用范围?
架构师总结:Rerank 是让 RAG 不只找得到,还要排得对。 对架构师来说,Rerank 不是一个要背的名词,而是一把判断尺:先看前提是否成立,再看收益是否大于复杂度,最后看失败时有没有证据、兜底和责任人。
通用例子:先脱离技术看懂它

搜索“退款规则”召回很多制度,Rerank 应把当前版本、最相关条款排第一。

这个例子要看见的重点:让召回结果按真实相关性和适用性重新排队。 所以例子不是为了记故事,而是为了训练你在新场景里做同类判断。

投影 / Android 实战推演
  • 业务推演:投影 Android 场景里,用户问某机型投屏失败,Rerank 要优先当前 App 版本、当前机型、官方确认的排障文档,而不是旧版本论坛经验。
  • 你要补的证据:围绕「检索」列出数据、文档、日志、用户反馈或人工标注,避免只凭感觉判断。
  • 可交付物:沉淀 知识范围、资料等级、切片策略、检索评测和更新机制。,让同事能照着复用,而不是只听你口头解释。
  • 验收指标:至少选一个质量指标、一个效率指标、一个风险指标;比如正确率/一次解决率、定位耗时/追问轮次、误导用户率/转人工率。
  • 迁移能力:同一套思路也能迁移到客服、测试、研发效率、运营分析和产品决策,不局限于投影业务。
老师会这样检查你是否真会了
  • 你能不能用一句人话解释「Rerank」,并说出它解决的是「检索」里的什么问题?
  • 你能不能举一个适用场景和一个不适用场景,并说明边界来自数据、流程、风险还是权限?
  • 你能不能把它落到一个真实小任务:输入是什么、输出是什么、验收指标是什么、失败时谁兜底?
  • 老师追问:答案里的每个关键结论能不能追到资料、版本和适用范围?
  • 练习产物:为一个问题列出 5 条检索结果,按适用性重新排序,并写出排序理由。
精通标准:Rerank 是让 RAG 不只找得到,还要排得对。 能精通的人,不是能背定义,而是能把它迁移到一个新业务里,写出判断表、数据要求、风险边界和落地动作。
业务判断方法

当相似内容多时要考虑 rerank。

2. 引用

知识点讲解答案附上来源片段或链接。

老师板书 引用 可信

引用让 AI 答案从“我觉得”变成“我依据”。

先用人话讲明白

引用是把答案依据指向具体资料、段落、版本或来源。它让用户和团队能核验模型结论,降低幻觉风险。

类比可以把它理解成给模型配一间资料室,并规定它必须带着资料回答。

为什么要学让答案可以被核验、追溯、复盘。

把关键词拆开看
  • 可追溯:答案能追到来源文档。
  • 精确:引用到段落或条款,而不是只给文档名。
  • 版本:引用要说明资料适用版本或更新时间。

入门版理解:答案附上来源片段或链接。

适用范围和边界
1. 优先原则:先满足前提,再谈使用

在实际工程里,任何概念都不能脱离场景硬套。学习「引用」时,第一步不是问“它高级不高级”,而是问它是否真的能帮助你完成一个更清晰、更可验证的业务判断。

  • 先看它服务的专业判断是不是「可信」:让答案可以被核验、追溯、复盘。
  • 知识库资料有来源、版本、更新时间、适用范围和负责人。
  • 知道用户问题应命中哪些资料,也知道没有资料时必须拒答。
2. 引入边界:同时满足这些条件,才值得推进

只有当它能把问题从“凭感觉讨论”推进到“可设计、可评测、可复盘”时,才说明这个知识点真正进入了业务方案。

  • 当「引用」能改变设备说明书、错误码表、排障 SOP、版本发布说明、已知问题库里的设计、评测或风险控制动作时,才值得进入方案。
  • 适合企业知识、产品文档、错误码、FAQ、SOP、发布说明等可追溯问答。
  • 适合事实会变化、需要引用来源、需要按版本和权限区分的场景。
3. 反向边界:这些情况先停下来

专业判断的价值,不只是知道什么时候用,更是知道什么时候不用。下面这些情况出现时,要先补数据、补流程、补权限或补评测,而不是继续堆 AI 能力。

  • 引用了资料不代表推理一定正确,还要检查答案是否忠于资料。
  • 内部资料引用给外部用户时要注意权限和脱敏。
  • 不要把未经审核的聊天记录、论坛经验和过期文档直接进知识库。
  • 不要只靠向量检索处理型号、版本号、错误码这类精确信息。
  • 切片错误会把条件和答案拆开,导致模型拿到半截依据。
4. 上线前判断:能回答这些问题再落地
  • 能给每条答案追到具体文档、段落、版本和适用范围。
  • 能覆盖有答案、无答案、冲突资料、旧版本资料、精确错误码等评测样本。
  • 现场追问:答案里的每个关键结论能不能追到资料、版本和适用范围?
架构师总结:引用让 AI 答案从“我觉得”变成“我依据”。 对架构师来说,引用 不是一个要背的名词,而是一把判断尺:先看前提是否成立,再看收益是否大于复杂度,最后看失败时有没有证据、兜底和责任人。
通用例子:先脱离技术看懂它

回答制度问题时附上制度条款,比只给一句“公司规定”可信得多。

这个例子要看见的重点:让答案可以被核验、追溯、复盘。 所以例子不是为了记故事,而是为了训练你在新场景里做同类判断。

投影 / Android 实战推演
  • 业务推演:投影 Android 业务里,AI 建议用户更新固件时,要引用对应机型的官方说明;分析错误码时,要引用错误码表和适用 App 版本。
  • 你要补的证据:围绕「可信」列出数据、文档、日志、用户反馈或人工标注,避免只凭感觉判断。
  • 可交付物:沉淀 知识范围、资料等级、切片策略、检索评测和更新机制。,让同事能照着复用,而不是只听你口头解释。
  • 验收指标:至少选一个质量指标、一个效率指标、一个风险指标;比如正确率/一次解决率、定位耗时/追问轮次、误导用户率/转人工率。
  • 迁移能力:同一套思路也能迁移到客服、测试、研发效率、运营分析和产品决策,不局限于投影业务。
老师会这样检查你是否真会了
  • 你能不能用一句人话解释「引用」,并说出它解决的是「可信」里的什么问题?
  • 你能不能举一个适用场景和一个不适用场景,并说明边界来自数据、流程、风险还是权限?
  • 你能不能把它落到一个真实小任务:输入是什么、输出是什么、验收指标是什么、失败时谁兜底?
  • 老师追问:答案里的每个关键结论能不能追到资料、版本和适用范围?
  • 练习产物:给一个 AI 回答加引用:每个关键结论后面标出来源、版本和段落。
精通标准:引用让 AI 答案从“我觉得”变成“我依据”。 能精通的人,不是能背定义,而是能把它迁移到一个新业务里,写出判断表、数据要求、风险边界和落地动作。
业务判断方法

制度、政策、技术文档回答必须可追溯。

3. 生成约束

知识点讲解要求模型只基于资料回答,资料不足就说明不足。

老师板书 生成约束 可信

生成约束把检索到的知识变成可控答案。

先用人话讲明白

生成约束规定模型如何基于检索资料回答,例如只用资料、不得扩展、必须列不确定点、必须保留原始术语。

类比可以把它理解成给模型配一间资料室,并规定它必须带着资料回答。

为什么要学防止模型拿到资料后自由发挥。

把关键词拆开看
  • 忠实性:答案不能超出资料。
  • 格式:按固定结构输出,便于检查。
  • 不确定性:资料不足时说明不足。

入门版理解:要求模型只基于资料回答,资料不足就说明不足。

适用范围和边界
1. 优先原则:先满足前提,再谈使用

在实际工程里,任何概念都不能脱离场景硬套。学习「生成约束」时,第一步不是问“它高级不高级”,而是问它是否真的能帮助你完成一个更清晰、更可验证的业务判断。

  • 先看它服务的专业判断是不是「可信」:防止模型拿到资料后自由发挥。
  • 知识库资料有来源、版本、更新时间、适用范围和负责人。
  • 知道用户问题应命中哪些资料,也知道没有资料时必须拒答。
2. 引入边界:同时满足这些条件,才值得推进

只有当它能把问题从“凭感觉讨论”推进到“可设计、可评测、可复盘”时,才说明这个知识点真正进入了业务方案。

  • 当「生成约束」能改变设备说明书、错误码表、排障 SOP、版本发布说明、已知问题库里的设计、评测或风险控制动作时,才值得进入方案。
  • 适合企业知识、产品文档、错误码、FAQ、SOP、发布说明等可追溯问答。
  • 适合事实会变化、需要引用来源、需要按版本和权限区分的场景。
3. 反向边界:这些情况先停下来

专业判断的价值,不只是知道什么时候用,更是知道什么时候不用。下面这些情况出现时,要先补数据、补流程、补权限或补评测,而不是继续堆 AI 能力。

  • 约束太弱会幻觉,约束太强可能答案不完整。
  • 约束需要配合评测集检查,而不是写完就放心。
  • 不要把未经审核的聊天记录、论坛经验和过期文档直接进知识库。
  • 不要只靠向量检索处理型号、版本号、错误码这类精确信息。
  • 切片错误会把条件和答案拆开,导致模型拿到半截依据。
4. 上线前判断:能回答这些问题再落地
  • 能给每条答案追到具体文档、段落、版本和适用范围。
  • 能覆盖有答案、无答案、冲突资料、旧版本资料、精确错误码等评测样本。
  • 现场追问:答案里的每个关键结论能不能追到资料、版本和适用范围?
架构师总结:生成约束把检索到的知识变成可控答案。 对架构师来说,生成约束 不是一个要背的名词,而是一把判断尺:先看前提是否成立,再看收益是否大于复杂度,最后看失败时有没有证据、兜底和责任人。
通用例子:先脱离技术看懂它

问政策时,模型只能总结文档内容,不能添加自己的建议或猜测。

这个例子要看见的重点:防止模型拿到资料后自由发挥。 所以例子不是为了记故事,而是为了训练你在新场景里做同类判断。

投影 / Android 实战推演
  • 业务推演:投影 Android 场景里,RAG 助手回答排障步骤时,必须只使用官方 SOP;如果用户机型不在资料适用范围内,应提示不确定并转人工。
  • 你要补的证据:围绕「可信」列出数据、文档、日志、用户反馈或人工标注,避免只凭感觉判断。
  • 可交付物:沉淀 知识范围、资料等级、切片策略、检索评测和更新机制。,让同事能照着复用,而不是只听你口头解释。
  • 验收指标:至少选一个质量指标、一个效率指标、一个风险指标;比如正确率/一次解决率、定位耗时/追问轮次、误导用户率/转人工率。
  • 迁移能力:同一套思路也能迁移到客服、测试、研发效率、运营分析和产品决策,不局限于投影业务。
老师会这样检查你是否真会了
  • 你能不能用一句人话解释「生成约束」,并说出它解决的是「可信」里的什么问题?
  • 你能不能举一个适用场景和一个不适用场景,并说明边界来自数据、流程、风险还是权限?
  • 你能不能把它落到一个真实小任务:输入是什么、输出是什么、验收指标是什么、失败时谁兜底?
  • 老师追问:答案里的每个关键结论能不能追到资料、版本和适用范围?
  • 练习产物:写一个 RAG 回答约束模板,要求包含依据、步骤、适用范围、不确定点和转人工条件。
精通标准:生成约束把检索到的知识变成可控答案。 能精通的人,不是能背定义,而是能把它迁移到一个新业务里,写出判断表、数据要求、风险边界和落地动作。
业务判断方法

减少幻觉,方便人工复核。

学习产出

一个带评测报告的部门知识助手

10 分钟练习

为一个问答场景设计答案格式:结论、依据、引用、不确定点。

老师怎么判断你学会了

提交作业交一份 RAG 回答模板。

  • 合格答案有来源。
  • 优秀能处理资料冲突和资料不足。
  • 没通过回答很流畅但没有引用。
04 1-2 天

评测、失败案例与更新机制

本步 3 个知识点
学习目标

能证明知识助手不是 Demo,而是可持续系统。

先记这一句话

RAG 上线后要持续看找没找到、答没答对、资料有没有过期。

知识点清单与业务判断 先会用,再理解

1. 评测集

知识点讲解用真实问题和标准答案测试系统。

老师板书 评测集 评测

没有评测集,RAG 迭代就是凭感觉开车。

先用人话讲明白

评测集是用来检查 RAG 或 AI 应用效果的一组标准问题、资料和期望答案。它让改动可以被比较。

类比可以把它理解成给模型配一间资料室,并规定它必须带着资料回答。

为什么要学用标准题库持续检查 AI 是否真的变好。

把关键词拆开看
  • 真实问题:来自用户、客服、研发,而不是凭空编。
  • 标准答案:明确什么算对、什么算错。
  • 覆盖边界:包含常见、长尾、无资料、冲突资料问题。

入门版理解:用真实问题和标准答案测试系统。

适用范围和边界
1. 优先原则:先满足前提,再谈使用

在实际工程里,任何概念都不能脱离场景硬套。学习「评测集」时,第一步不是问“它高级不高级”,而是问它是否真的能帮助你完成一个更清晰、更可验证的业务判断。

  • 先看它服务的专业判断是不是「评测」:用标准题库持续检查 AI 是否真的变好。
  • 知识库资料有来源、版本、更新时间、适用范围和负责人。
  • 知道用户问题应命中哪些资料,也知道没有资料时必须拒答。
2. 引入边界:同时满足这些条件,才值得推进

只有当它能把问题从“凭感觉讨论”推进到“可设计、可评测、可复盘”时,才说明这个知识点真正进入了业务方案。

  • 当「评测集」能改变设备说明书、错误码表、排障 SOP、版本发布说明、已知问题库里的设计、评测或风险控制动作时,才值得进入方案。
  • 适合企业知识、产品文档、错误码、FAQ、SOP、发布说明等可追溯问答。
  • 适合事实会变化、需要引用来源、需要按版本和权限区分的场景。
3. 反向边界:这些情况先停下来

专业判断的价值,不只是知道什么时候用,更是知道什么时候不用。下面这些情况出现时,要先补数据、补流程、补权限或补评测,而不是继续堆 AI 能力。

  • 只放简单题会高估系统能力。
  • 评测集要随着新问题和新版本更新。
  • 不要把未经审核的聊天记录、论坛经验和过期文档直接进知识库。
  • 不要只靠向量检索处理型号、版本号、错误码这类精确信息。
  • 切片错误会把条件和答案拆开,导致模型拿到半截依据。
4. 上线前判断:能回答这些问题再落地
  • 能给每条答案追到具体文档、段落、版本和适用范围。
  • 能覆盖有答案、无答案、冲突资料、旧版本资料、精确错误码等评测样本。
  • 现场追问:答案里的每个关键结论能不能追到资料、版本和适用范围?
架构师总结:没有评测集,RAG 迭代就是凭感觉开车。 对架构师来说,评测集 不是一个要背的名词,而是一把判断尺:先看前提是否成立,再看收益是否大于复杂度,最后看失败时有没有证据、兜底和责任人。
通用例子:先脱离技术看懂它

知识库更新后,用同一批评测问题跑一遍,才能知道是否变好。

这个例子要看见的重点:用标准题库持续检查 AI 是否真的变好。 所以例子不是为了记故事,而是为了训练你在新场景里做同类判断。

投影 / Android 实战推演
  • 业务推演:投影 Android 业务里,评测集应覆盖投屏失败、播放卡顿、遥控器焦点、账号会员、升级后崩溃,以及“知识库没有答案”的拒答问题。
  • 你要补的证据:围绕「评测」列出数据、文档、日志、用户反馈或人工标注,避免只凭感觉判断。
  • 可交付物:沉淀 知识范围、资料等级、切片策略、检索评测和更新机制。,让同事能照着复用,而不是只听你口头解释。
  • 验收指标:至少选一个质量指标、一个效率指标、一个风险指标;比如正确率/一次解决率、定位耗时/追问轮次、误导用户率/转人工率。
  • 迁移能力:同一套思路也能迁移到客服、测试、研发效率、运营分析和产品决策,不局限于投影业务。
老师会这样检查你是否真会了
  • 你能不能用一句人话解释「评测集」,并说出它解决的是「评测」里的什么问题?
  • 你能不能举一个适用场景和一个不适用场景,并说明边界来自数据、流程、风险还是权限?
  • 你能不能把它落到一个真实小任务:输入是什么、输出是什么、验收指标是什么、失败时谁兜底?
  • 老师追问:答案里的每个关键结论能不能追到资料、版本和适用范围?
  • 练习产物:整理 50 条真实问题,给每条标注标准答案、资料来源、难度、适用版本。
精通标准:没有评测集,RAG 迭代就是凭感觉开车。 能精通的人,不是能背定义,而是能把它迁移到一个新业务里,写出判断表、数据要求、风险边界和落地动作。
业务判断方法

至少覆盖高频、边界和容易错的问题。

2. 失败样本

知识点讲解记录没检索到、检索错、生成错和资料过期。

老师板书 失败样本 迭代

失败样本是 AI 系统最有价值的教材。

先用人话讲明白

失败样本是系统答错、漏答、乱答、慢答或用户不满意的案例。它们比成功样本更能指导改进。

类比可以把它理解成给模型配一间资料室,并规定它必须带着资料回答。

为什么要学把错误案例变成系统改进燃料。

把关键词拆开看
  • 错误类型:检索错、资料错、生成错、格式错、权限错。
  • 根因定位:先判断失败在哪个环节。
  • 回流改进:失败样本要进入评测集或知识库修复。

入门版理解:记录没检索到、检索错、生成错和资料过期。

适用范围和边界
1. 优先原则:先满足前提,再谈使用

在实际工程里,任何概念都不能脱离场景硬套。学习「失败样本」时,第一步不是问“它高级不高级”,而是问它是否真的能帮助你完成一个更清晰、更可验证的业务判断。

  • 先看它服务的专业判断是不是「迭代」:把错误案例变成系统改进燃料。
  • 知识库资料有来源、版本、更新时间、适用范围和负责人。
  • 知道用户问题应命中哪些资料,也知道没有资料时必须拒答。
2. 引入边界:同时满足这些条件,才值得推进

只有当它能把问题从“凭感觉讨论”推进到“可设计、可评测、可复盘”时,才说明这个知识点真正进入了业务方案。

  • 当「失败样本」能改变设备说明书、错误码表、排障 SOP、版本发布说明、已知问题库里的设计、评测或风险控制动作时,才值得进入方案。
  • 适合企业知识、产品文档、错误码、FAQ、SOP、发布说明等可追溯问答。
  • 适合事实会变化、需要引用来源、需要按版本和权限区分的场景。
3. 反向边界:这些情况先停下来

专业判断的价值,不只是知道什么时候用,更是知道什么时候不用。下面这些情况出现时,要先补数据、补流程、补权限或补评测,而不是继续堆 AI 能力。

  • 只看用户点赞会漏掉沉默失败。
  • 失败样本不能只堆积,必须分类和闭环。
  • 不要把未经审核的聊天记录、论坛经验和过期文档直接进知识库。
  • 不要只靠向量检索处理型号、版本号、错误码这类精确信息。
  • 切片错误会把条件和答案拆开,导致模型拿到半截依据。
4. 上线前判断:能回答这些问题再落地
  • 能给每条答案追到具体文档、段落、版本和适用范围。
  • 能覆盖有答案、无答案、冲突资料、旧版本资料、精确错误码等评测样本。
  • 现场追问:答案里的每个关键结论能不能追到资料、版本和适用范围?
架构师总结:失败样本是 AI 系统最有价值的教材。 对架构师来说,失败样本 不是一个要背的名词,而是一把判断尺:先看前提是否成立,再看收益是否大于复杂度,最后看失败时有没有证据、兜底和责任人。
通用例子:先脱离技术看懂它

客服机器人答错一次退款政策,要记录问题、检索资料、模型回答、正确答案和修复动作。

这个例子要看见的重点:把错误案例变成系统改进燃料。 所以例子不是为了记故事,而是为了训练你在新场景里做同类判断。

投影 / Android 实战推演
  • 业务推演:投影 Android 场景里,如果 AI 把蓝牙遥控器问题误判为投屏协议问题,要保存用户原话、日志、命中文档、错误回答和人工最终分类。
  • 你要补的证据:围绕「迭代」列出数据、文档、日志、用户反馈或人工标注,避免只凭感觉判断。
  • 可交付物:沉淀 知识范围、资料等级、切片策略、检索评测和更新机制。,让同事能照着复用,而不是只听你口头解释。
  • 验收指标:至少选一个质量指标、一个效率指标、一个风险指标;比如正确率/一次解决率、定位耗时/追问轮次、误导用户率/转人工率。
  • 迁移能力:同一套思路也能迁移到客服、测试、研发效率、运营分析和产品决策,不局限于投影业务。
老师会这样检查你是否真会了
  • 你能不能用一句人话解释「失败样本」,并说出它解决的是「迭代」里的什么问题?
  • 你能不能举一个适用场景和一个不适用场景,并说明边界来自数据、流程、风险还是权限?
  • 你能不能把它落到一个真实小任务:输入是什么、输出是什么、验收指标是什么、失败时谁兜底?
  • 老师追问:答案里的每个关键结论能不能追到资料、版本和适用范围?
  • 练习产物:建立失败样本表:问题、模型答案、正确答案、失败环节、修复人、修复日期。
精通标准:失败样本是 AI 系统最有价值的教材。 能精通的人,不是能背定义,而是能把它迁移到一个新业务里,写出判断表、数据要求、风险边界和落地动作。
业务判断方法

失败样本是下一轮优化来源。

3. 更新机制

知识点讲解文档变更后要同步索引和版本。

老师板书 更新机制 运营

AI 知识库不是仓库,是需要维护的产品。

先用人话讲明白

更新机制规定知识库、Prompt、模型和评测集如何随业务变化而更新。没有更新机制,AI 会越来越过时。

类比可以把它理解成给模型配一间资料室,并规定它必须带着资料回答。

为什么要学让知识库跟上产品和版本变化。

把关键词拆开看
  • 触发条件:发版、政策变化、故障新增、用户投诉。
  • 审核流程:谁能新增、修改、下线资料。
  • 生效验证:更新后要跑评测并观察线上指标。

入门版理解:文档变更后要同步索引和版本。

适用范围和边界
1. 优先原则:先满足前提,再谈使用

在实际工程里,任何概念都不能脱离场景硬套。学习「更新机制」时,第一步不是问“它高级不高级”,而是问它是否真的能帮助你完成一个更清晰、更可验证的业务判断。

  • 先看它服务的专业判断是不是「运营」:让知识库跟上产品和版本变化。
  • 知识库资料有来源、版本、更新时间、适用范围和负责人。
  • 知道用户问题应命中哪些资料,也知道没有资料时必须拒答。
2. 引入边界:同时满足这些条件,才值得推进

只有当它能把问题从“凭感觉讨论”推进到“可设计、可评测、可复盘”时,才说明这个知识点真正进入了业务方案。

  • 当「更新机制」能改变设备说明书、错误码表、排障 SOP、版本发布说明、已知问题库里的设计、评测或风险控制动作时,才值得进入方案。
  • 适合企业知识、产品文档、错误码、FAQ、SOP、发布说明等可追溯问答。
  • 适合事实会变化、需要引用来源、需要按版本和权限区分的场景。
3. 反向边界:这些情况先停下来

专业判断的价值,不只是知道什么时候用,更是知道什么时候不用。下面这些情况出现时,要先补数据、补流程、补权限或补评测,而不是继续堆 AI 能力。

  • 没有负责人,知识库会逐渐变成历史垃圾堆。
  • 更新太随意会引入未经确认的错误知识。
  • 不要把未经审核的聊天记录、论坛经验和过期文档直接进知识库。
  • 不要只靠向量检索处理型号、版本号、错误码这类精确信息。
  • 切片错误会把条件和答案拆开,导致模型拿到半截依据。
4. 上线前判断:能回答这些问题再落地
  • 能给每条答案追到具体文档、段落、版本和适用范围。
  • 能覆盖有答案、无答案、冲突资料、旧版本资料、精确错误码等评测样本。
  • 现场追问:答案里的每个关键结论能不能追到资料、版本和适用范围?
架构师总结:AI 知识库不是仓库,是需要维护的产品。 对架构师来说,更新机制 不是一个要背的名词,而是一把判断尺:先看前提是否成立,再看收益是否大于复杂度,最后看失败时有没有证据、兜底和责任人。
通用例子:先脱离技术看懂它

产品规则改了,但知识库没更新,AI 就会持续给旧答案。

这个例子要看见的重点:让知识库跟上产品和版本变化。 所以例子不是为了记故事,而是为了训练你在新场景里做同类判断。

投影 / Android 实战推演
  • 业务推演:投影 Android 业务里,每次 App 发版、固件升级、错误码新增、已知问题关闭,都要触发知识库更新和评测回归。
  • 你要补的证据:围绕「运营」列出数据、文档、日志、用户反馈或人工标注,避免只凭感觉判断。
  • 可交付物:沉淀 知识范围、资料等级、切片策略、检索评测和更新机制。,让同事能照着复用,而不是只听你口头解释。
  • 验收指标:至少选一个质量指标、一个效率指标、一个风险指标;比如正确率/一次解决率、定位耗时/追问轮次、误导用户率/转人工率。
  • 迁移能力:同一套思路也能迁移到客服、测试、研发效率、运营分析和产品决策,不局限于投影业务。
老师会这样检查你是否真会了
  • 你能不能用一句人话解释「更新机制」,并说出它解决的是「运营」里的什么问题?
  • 你能不能举一个适用场景和一个不适用场景,并说明边界来自数据、流程、风险还是权限?
  • 你能不能把它落到一个真实小任务:输入是什么、输出是什么、验收指标是什么、失败时谁兜底?
  • 老师追问:答案里的每个关键结论能不能追到资料、版本和适用范围?
  • 练习产物:设计一条知识更新流程:来源、审核人、版本、测试、上线、回滚。
精通标准:AI 知识库不是仓库,是需要维护的产品。 能精通的人,不是能背定义,而是能把它迁移到一个新业务里,写出判断表、数据要求、风险边界和落地动作。
业务判断方法

知识库需要负责人和更新频率。

学习产出

一个带评测报告的部门知识助手

10 分钟练习

收集 20 个真实问题,标标准答案和来源文档。

老师怎么判断你学会了

提交作业交一份 RAG 评测报告。

  • 合格能给出召回和回答准确率。
  • 优秀能根据失败样本提出优化计划。
  • 没通过只有演示,没有评测和更新机制。
系统资料

这些资料用于深挖原理。先完成本页作业,再去看资料,效率会高很多。