AI 晋升学习模块

Module 02

深度学习与大模型原理

不用成为算法工程师,但要懂 LLM 的能力边界和工程取舍。

老师带学方式

你不需要一次全懂

先记一句话,再做 10 分钟练习,最后交一个小作业。老师只看你能不能把知识用到真实业务判断里。

每一步按 4 个动作学
  1. 先背一句话,建立判断框架。
  2. 看知识点,但只抓业务判断方法。
  3. 做 10 分钟练习,套到你的场景。
  4. 按“合格 / 优秀 / 没通过”检查作业。

Lessons

本模块学习步骤

每张卡都是一个小模块,建议一天只学 1-2 张,学完必须交作业,否则就算只看了一遍。

01 0.5 天

神经网络与表示学习

本步 3 个知识点
学习目标

理解模型不是背知识库,而是在高维表示里学习模式。

先记这一句话

神经网络把输入变成一层层表示,越后面的表示越接近任务目标。

知识点清单与业务判断 先会用,再理解

1. 神经网络

知识点讲解由多层参数组成,通过训练调整参数来减少错误。

老师板书 神经网络 模型认知

神经网络强在模式学习,弱在天然可解释和绝对可靠。

先用人话讲明白

神经网络是一类由多层计算单元组成的模型,通过大量参数学习输入和输出之间的复杂关系。它擅长从文本、图像、语音、日志等高维数据中提取模式。

类比像很多层过滤器,从简单线索组合出复杂判断。

为什么要学理解模型能力来源和不可靠边界。

把关键词拆开看
  • 层:低层学简单模式,高层组合成复杂概念。
  • 权重:连接之间的参数,训练时不断调整。
  • 非线性:让模型能表达比直线关系复杂得多的规律。

入门版理解:由多层参数组成,通过训练调整参数来减少错误。

适用范围和边界
1. 优先原则:先满足前提,再谈使用

在实际工程里,任何概念都不能脱离场景硬套。学习「神经网络」时,第一步不是问“它高级不高级”,而是问它是否真的能帮助你完成一个更清晰、更可验证的业务判断。

  • 先看它服务的专业判断是不是「模型认知」:理解模型能力来源和不可靠边界。
  • 先判断任务依赖语言生成、语义相似、资料检索、格式学习,还是工具执行。
  • 事实型任务要有资料来源,不能只依赖模型参数记忆。
2. 引入边界:同时满足这些条件,才值得推进

只有当它能把问题从“凭感觉讨论”推进到“可设计、可评测、可复盘”时,才说明这个知识点真正进入了业务方案。

  • 当「神经网络」能改变日志总结、故障问答、文档检索、用户提示生成、研发辅助分析里的设计、评测或风险控制动作时,才值得进入方案。
  • 适合解释大模型为什么能总结、改写、分类、检索语义和生成草稿。
  • 适合设计 RAG、长上下文、微调和 Prompt 之间的取舍。
3. 反向边界:这些情况先停下来

专业判断的价值,不只是知道什么时候用,更是知道什么时候不用。下面这些情况出现时,要先补数据、补流程、补权限或补评测,而不是继续堆 AI 能力。

  • 神经网络需要数据和算力,不适合所有小问题。
  • 模型越复杂,越需要评测、监控和解释机制。
  • 不要把大模型当事实数据库,尤其是版本、价格、政策、接口和错误码。
  • 不要把长上下文当万能方案,资料太多会增加成本并淹没关键证据。
  • 幻觉风险来自流畅表达和缺少证据,越面向用户越要保守。
4. 上线前判断:能回答这些问题再落地
  • 能说明当前任务为什么选择 Prompt、RAG、长上下文、微调或工具。
  • 能要求模型给证据、引用、不确定点和拒答条件。
  • 现场追问:你能不能解释这个能力是模型记忆、上下文、检索、工具还是人工确认带来的?
架构师总结:神经网络强在模式学习,弱在天然可解释和绝对可靠。 对架构师来说,神经网络 不是一个要背的名词,而是一把判断尺:先看前提是否成立,再看收益是否大于复杂度,最后看失败时有没有证据、兜底和责任人。
通用例子:先脱离技术看懂它

图像识别模型可以从边缘、纹理逐步学到物体形状,这背后常用神经网络。

这个例子要看见的重点:理解模型能力来源和不可靠边界。 所以例子不是为了记故事,而是为了训练你在新场景里做同类判断。

投影 / Android 实战推演
  • 业务推演:投影 Android 场景里,神经网络可以用于识别截图中的异常 UI、分析用户反馈文本、根据日志序列判断故障类别。但 App 内不一定要端侧运行大模型,也可以调用云端服务。
  • 你要补的证据:围绕「模型认知」列出数据、文档、日志、用户反馈或人工标注,避免只凭感觉判断。
  • 可交付物:沉淀 能力边界说明、模型选型说明、事实核验和拒答策略。,让同事能照着复用,而不是只听你口头解释。
  • 验收指标:至少选一个质量指标、一个效率指标、一个风险指标;比如正确率/一次解决率、定位耗时/追问轮次、误导用户率/转人工率。
  • 迁移能力:同一套思路也能迁移到客服、测试、研发效率、运营分析和产品决策,不局限于投影业务。
老师会这样检查你是否真会了
  • 你能不能用一句人话解释「神经网络」,并说出它解决的是「模型认知」里的什么问题?
  • 你能不能举一个适用场景和一个不适用场景,并说明边界来自数据、流程、风险还是权限?
  • 你能不能把它落到一个真实小任务:输入是什么、输出是什么、验收指标是什么、失败时谁兜底?
  • 老师追问:你能不能解释这个能力是模型记忆、上下文、检索、工具还是人工确认带来的?
  • 练习产物:用一句话向非技术同事解释:为什么神经网络适合识别复杂模式,但不能保证永远正确。
精通标准:神经网络强在模式学习,弱在天然可解释和绝对可靠。 能精通的人,不是能背定义,而是能把它迁移到一个新业务里,写出判断表、数据要求、风险边界和落地动作。
业务判断方法

不要把模型理解成数据库,它更像模式匹配器。

2. 表示学习

知识点讲解模型把文本、图片、行为转成可计算表示。

老师板书 表示学习 语义

表示学习让机器看懂“相似”,但业务仍要定义“相似后怎么处理”。

先用人话讲明白

表示学习是让模型自动把原始数据转成更有用的内部表达。它减少人工设计特征的压力,让文本、图片、声音等复杂数据变得可比较、可分类。

类比可以把它理解成模型这台机器内部的一种工作方式:它很会找模式,但需要边界和证据。

为什么要学理解模型如何把复杂对象变成可比较的内部表达。

把关键词拆开看
  • 表示:模型内部用来描述对象的向量或特征。
  • 自动抽取:不完全依赖人工手写特征。
  • 迁移:好的表示可以服务多个下游任务。

入门版理解:模型把文本、图片、行为转成可计算表示。

适用范围和边界
1. 优先原则:先满足前提,再谈使用

在实际工程里,任何概念都不能脱离场景硬套。学习「表示学习」时,第一步不是问“它高级不高级”,而是问它是否真的能帮助你完成一个更清晰、更可验证的业务判断。

  • 先看它服务的专业判断是不是「语义」:理解模型如何把复杂对象变成可比较的内部表达。
  • 先判断任务依赖语言生成、语义相似、资料检索、格式学习,还是工具执行。
  • 事实型任务要有资料来源,不能只依赖模型参数记忆。
2. 引入边界:同时满足这些条件,才值得推进

只有当它能把问题从“凭感觉讨论”推进到“可设计、可评测、可复盘”时,才说明这个知识点真正进入了业务方案。

  • 当「表示学习」能改变日志总结、故障问答、文档检索、用户提示生成、研发辅助分析里的设计、评测或风险控制动作时,才值得进入方案。
  • 适合解释大模型为什么能总结、改写、分类、检索语义和生成草稿。
  • 适合设计 RAG、长上下文、微调和 Prompt 之间的取舍。
3. 反向边界:这些情况先停下来

专业判断的价值,不只是知道什么时候用,更是知道什么时候不用。下面这些情况出现时,要先补数据、补流程、补权限或补评测,而不是继续堆 AI 能力。

  • 表示相似不代表业务处理方式一定相同。
  • 业务术语、型号、错误码需要足够样本或知识补充,否则表示可能不准。
  • 不要把大模型当事实数据库,尤其是版本、价格、政策、接口和错误码。
  • 不要把长上下文当万能方案,资料太多会增加成本并淹没关键证据。
  • 幻觉风险来自流畅表达和缺少证据,越面向用户越要保守。
4. 上线前判断:能回答这些问题再落地
  • 能说明当前任务为什么选择 Prompt、RAG、长上下文、微调或工具。
  • 能要求模型给证据、引用、不确定点和拒答条件。
  • 现场追问:你能不能解释这个能力是模型记忆、上下文、检索、工具还是人工确认带来的?
架构师总结:表示学习让机器看懂“相似”,但业务仍要定义“相似后怎么处理”。 对架构师来说,表示学习 不是一个要背的名词,而是一把判断尺:先看前提是否成立,再看收益是否大于复杂度,最后看失败时有没有证据、兜底和责任人。
通用例子:先脱离技术看懂它

文本模型把一句话转成向量后,相似含义的句子在向量空间里更接近。

这个例子要看见的重点:理解模型如何把复杂对象变成可比较的内部表达。 所以例子不是为了记故事,而是为了训练你在新场景里做同类判断。

投影 / Android 实战推演
  • 业务推演:投影 Android 业务里,用户反馈“画面一直转圈”和“视频加载不出来”文字不同但含义相近。表示学习能把它们映射到相近语义,方便聚类和检索。
  • 你要补的证据:围绕「语义」列出数据、文档、日志、用户反馈或人工标注,避免只凭感觉判断。
  • 可交付物:沉淀 能力边界说明、模型选型说明、事实核验和拒答策略。,让同事能照着复用,而不是只听你口头解释。
  • 验收指标:至少选一个质量指标、一个效率指标、一个风险指标;比如正确率/一次解决率、定位耗时/追问轮次、误导用户率/转人工率。
  • 迁移能力:同一套思路也能迁移到客服、测试、研发效率、运营分析和产品决策,不局限于投影业务。
老师会这样检查你是否真会了
  • 你能不能用一句人话解释「表示学习」,并说出它解决的是「语义」里的什么问题?
  • 你能不能举一个适用场景和一个不适用场景,并说明边界来自数据、流程、风险还是权限?
  • 你能不能把它落到一个真实小任务:输入是什么、输出是什么、验收指标是什么、失败时谁兜底?
  • 老师追问:你能不能解释这个能力是模型记忆、上下文、检索、工具还是人工确认带来的?
  • 练习产物:找 10 条不同说法但同一含义的用户反馈,思考模型应该把哪些表达看成相似。
精通标准:表示学习让机器看懂“相似”,但业务仍要定义“相似后怎么处理”。 能精通的人,不是能背定义,而是能把它迁移到一个新业务里,写出判断表、数据要求、风险边界和落地动作。
业务判断方法

判断场景时问:输入信息是否足够表达业务差异。

3. Embedding

知识点讲解Embedding 是语义或对象的向量表示,可用于相似度和检索。

老师板书 Embedding 模型认知

Embedding 解决“意思像不像”,但不等于解决“事实对不对”。

先用人话讲明白

Embedding 是把文本、图片、用户、商品等对象转成数字向量,让机器可以计算相似度和关系。RAG、语义搜索、聚类常依赖它。

类比像把语言翻译成地图坐标,意思相近的内容在地图上更近。

为什么要学理解模型能力来源和不可靠边界。

把关键词拆开看
  • 向量:一组数字,代表对象的语义或特征。
  • 相似度:向量越近,通常含义越相似。
  • 召回:通过向量快速找到相似文档、问题或案例。

入门版理解:Embedding 是语义或对象的向量表示,可用于相似度和检索。

适用范围和边界
1. 优先原则:先满足前提,再谈使用

在实际工程里,任何概念都不能脱离场景硬套。学习「Embedding」时,第一步不是问“它高级不高级”,而是问它是否真的能帮助你完成一个更清晰、更可验证的业务判断。

  • 先看它服务的专业判断是不是「模型认知」:理解模型能力来源和不可靠边界。
  • 先判断任务依赖语言生成、语义相似、资料检索、格式学习,还是工具执行。
  • 事实型任务要有资料来源,不能只依赖模型参数记忆。
2. 引入边界:同时满足这些条件,才值得推进

只有当它能把问题从“凭感觉讨论”推进到“可设计、可评测、可复盘”时,才说明这个知识点真正进入了业务方案。

  • 当「Embedding」能改变日志总结、故障问答、文档检索、用户提示生成、研发辅助分析里的设计、评测或风险控制动作时,才值得进入方案。
  • 适合解释大模型为什么能总结、改写、分类、检索语义和生成草稿。
  • 适合设计 RAG、长上下文、微调和 Prompt 之间的取舍。
3. 反向边界:这些情况先停下来

专业判断的价值,不只是知道什么时候用,更是知道什么时候不用。下面这些情况出现时,要先补数据、补流程、补权限或补评测,而不是继续堆 AI 能力。

  • Embedding 会把语义相近的内容找出来,但不保证答案权威。
  • 型号、版本号、错误码这类精确信息不能只靠语义相似,要结合关键词或过滤条件。
  • 不要把大模型当事实数据库,尤其是版本、价格、政策、接口和错误码。
  • 不要把长上下文当万能方案,资料太多会增加成本并淹没关键证据。
  • 幻觉风险来自流畅表达和缺少证据,越面向用户越要保守。
4. 上线前判断:能回答这些问题再落地
  • 能说明当前任务为什么选择 Prompt、RAG、长上下文、微调或工具。
  • 能要求模型给证据、引用、不确定点和拒答条件。
  • 现场追问:你能不能解释这个能力是模型记忆、上下文、检索、工具还是人工确认带来的?
架构师总结:Embedding 解决“意思像不像”,但不等于解决“事实对不对”。 对架构师来说,Embedding 不是一个要背的名词,而是一把判断尺:先看前提是否成立,再看收益是否大于复杂度,最后看失败时有没有证据、兜底和责任人。
通用例子:先脱离技术看懂它

搜索“账号无法登录”时,也能找到“登录失败”“验证码收不到”等相近问题,这通常依赖 Embedding。

这个例子要看见的重点:理解模型能力来源和不可靠边界。 所以例子不是为了记故事,而是为了训练你在新场景里做同类判断。

投影 / Android 实战推演
  • 业务推演:投影 Android 场景里,可以把历史故障单、FAQ、日志解释文档转成 Embedding。用户说“电视搜不到设备”,系统能检索到“投屏发现失败”的排障文档。
  • 你要补的证据:围绕「模型认知」列出数据、文档、日志、用户反馈或人工标注,避免只凭感觉判断。
  • 可交付物:沉淀 能力边界说明、模型选型说明、事实核验和拒答策略。,让同事能照着复用,而不是只听你口头解释。
  • 验收指标:至少选一个质量指标、一个效率指标、一个风险指标;比如正确率/一次解决率、定位耗时/追问轮次、误导用户率/转人工率。
  • 迁移能力:同一套思路也能迁移到客服、测试、研发效率、运营分析和产品决策,不局限于投影业务。
老师会这样检查你是否真会了
  • 你能不能用一句人话解释「Embedding」,并说出它解决的是「模型认知」里的什么问题?
  • 你能不能举一个适用场景和一个不适用场景,并说明边界来自数据、流程、风险还是权限?
  • 你能不能把它落到一个真实小任务:输入是什么、输出是什么、验收指标是什么、失败时谁兜底?
  • 老师追问:你能不能解释这个能力是模型记忆、上下文、检索、工具还是人工确认带来的?
  • 练习产物:选 5 条用户问题,写出你希望语义搜索能找到的历史文档标题,并标注哪些词必须精确匹配。
精通标准:Embedding 解决“意思像不像”,但不等于解决“事实对不对”。 能精通的人,不是能背定义,而是能把它迁移到一个新业务里,写出判断表、数据要求、风险边界和落地动作。
业务判断方法

适合语义搜索、推荐、去重和聚类,不适合替代事实来源。

学习产出

一份《RAG、长上下文、微调选择说明》

10 分钟练习

找 3 个业务对象,说明它们可以如何被表示成特征或 embedding。

老师怎么判断你学会了

提交作业交一段解释:神经网络、表示学习和 embedding 分别解决什么。

  • 合格能用非技术语言解释“表示”。
  • 优秀能说清 embedding 适合相似度,不等于事实正确。
  • 没通过把 embedding 说成万能记忆库。
02 1 天

Token、上下文与注意力

本步 3 个知识点
学习目标

理解 LLM 为什么受长度限制、为什么提示词会影响输出。

先记这一句话

LLM 看到的是 token 序列,回答质量很大程度取决于上下文质量。

知识点清单与业务判断 先会用,再理解

1. Token

知识点讲解模型把文本拆成 token 处理,成本和长度通常按 token 计算。

老师板书 Token 模型认知

Token 是大模型应用里的成本、速度和信息容量单位。

先用人话讲明白

Token 是大模型处理文本的基本单位,可能是字、词或词片段。上下文长度、调用成本、响应速度都和 token 数有关。

类比像模型阅读和计费的颗粒,材料越多,花费和等待越多。

为什么要学理解模型能力来源和不可靠边界。

把关键词拆开看
  • 计费单位:很多模型按输入和输出 token 收费。
  • 窗口占用:材料越长,占用上下文越多。
  • 截断风险:超过窗口的内容会丢失或被压缩。

入门版理解:模型把文本拆成 token 处理,成本和长度通常按 token 计算。

适用范围和边界
1. 优先原则:先满足前提,再谈使用

在实际工程里,任何概念都不能脱离场景硬套。学习「Token」时,第一步不是问“它高级不高级”,而是问它是否真的能帮助你完成一个更清晰、更可验证的业务判断。

  • 先看它服务的专业判断是不是「模型认知」:理解模型能力来源和不可靠边界。
  • 先判断任务依赖语言生成、语义相似、资料检索、格式学习,还是工具执行。
  • 事实型任务要有资料来源,不能只依赖模型参数记忆。
2. 引入边界:同时满足这些条件,才值得推进

只有当它能把问题从“凭感觉讨论”推进到“可设计、可评测、可复盘”时,才说明这个知识点真正进入了业务方案。

  • 当「Token」能改变日志总结、故障问答、文档检索、用户提示生成、研发辅助分析里的设计、评测或风险控制动作时,才值得进入方案。
  • 适合解释大模型为什么能总结、改写、分类、检索语义和生成草稿。
  • 适合设计 RAG、长上下文、微调和 Prompt 之间的取舍。
3. 反向边界:这些情况先停下来

专业判断的价值,不只是知道什么时候用,更是知道什么时候不用。下面这些情况出现时,要先补数据、补流程、补权限或补评测,而不是继续堆 AI 能力。

  • 不要把 token 当字符数,中文、英文、代码、日志切分方式不同。
  • 为了省 token 过度删上下文,会让模型缺少判断依据。
  • 不要把大模型当事实数据库,尤其是版本、价格、政策、接口和错误码。
  • 不要把长上下文当万能方案,资料太多会增加成本并淹没关键证据。
  • 幻觉风险来自流畅表达和缺少证据,越面向用户越要保守。
4. 上线前判断:能回答这些问题再落地
  • 能说明当前任务为什么选择 Prompt、RAG、长上下文、微调或工具。
  • 能要求模型给证据、引用、不确定点和拒答条件。
  • 现场追问:你能不能解释这个能力是模型记忆、上下文、检索、工具还是人工确认带来的?
架构师总结:Token 是大模型应用里的成本、速度和信息容量单位。 对架构师来说,Token 不是一个要背的名词,而是一把判断尺:先看前提是否成立,再看收益是否大于复杂度,最后看失败时有没有证据、兜底和责任人。
通用例子:先脱离技术看懂它

一篇长文档直接塞给模型,可能成本高、速度慢,还可能把关键内容挤出窗口。

这个例子要看见的重点:理解模型能力来源和不可靠边界。 所以例子不是为了记故事,而是为了训练你在新场景里做同类判断。

投影 / Android 实战推演
  • 业务推演:投影 Android 业务里,把完整日志、用户反馈、设备信息、FAQ 全部丢给模型会很贵也不稳定。应先筛选关键日志片段、错误码、版本信息,再让模型分析。
  • 你要补的证据:围绕「模型认知」列出数据、文档、日志、用户反馈或人工标注,避免只凭感觉判断。
  • 可交付物:沉淀 能力边界说明、模型选型说明、事实核验和拒答策略。,让同事能照着复用,而不是只听你口头解释。
  • 验收指标:至少选一个质量指标、一个效率指标、一个风险指标;比如正确率/一次解决率、定位耗时/追问轮次、误导用户率/转人工率。
  • 迁移能力:同一套思路也能迁移到客服、测试、研发效率、运营分析和产品决策,不局限于投影业务。
老师会这样检查你是否真会了
  • 你能不能用一句人话解释「Token」,并说出它解决的是「模型认知」里的什么问题?
  • 你能不能举一个适用场景和一个不适用场景,并说明边界来自数据、流程、风险还是权限?
  • 你能不能把它落到一个真实小任务:输入是什么、输出是什么、验收指标是什么、失败时谁兜底?
  • 老师追问:你能不能解释这个能力是模型记忆、上下文、检索、工具还是人工确认带来的?
  • 练习产物:拿一段日志标出哪些是必须保留、哪些可摘要、哪些可删除,并说明原因。
精通标准:Token 是大模型应用里的成本、速度和信息容量单位。 能精通的人,不是能背定义,而是能把它迁移到一个新业务里,写出判断表、数据要求、风险边界和落地动作。
业务判断方法

评估方案时要问输入、输出大概多少 token。

2. 上下文窗口

知识点讲解模型一次能看的内容有限,超出部分会丢失或被压缩。

老师板书 上下文窗口 模型认知

上下文窗口决定模型看得到什么,组织方式决定它看懂多少。

先用人话讲明白

上下文窗口是模型一次能看到的信息范围。窗口越大能放更多材料,但不代表模型一定会正确利用所有材料。

类比像模型一次能摊在桌上看的资料大小。

为什么要学理解模型能力来源和不可靠边界。

把关键词拆开看
  • 可见范围:模型只能基于窗口内信息回答。
  • 注意力稀释:材料太多时,关键证据可能被淹没。
  • 组织结构:长上下文需要标题、顺序、摘要和引用帮助模型定位。

入门版理解:模型一次能看的内容有限,超出部分会丢失或被压缩。

适用范围和边界
1. 优先原则:先满足前提,再谈使用

在实际工程里,任何概念都不能脱离场景硬套。学习「上下文窗口」时,第一步不是问“它高级不高级”,而是问它是否真的能帮助你完成一个更清晰、更可验证的业务判断。

  • 先看它服务的专业判断是不是「模型认知」:理解模型能力来源和不可靠边界。
  • 先判断任务依赖语言生成、语义相似、资料检索、格式学习,还是工具执行。
  • 事实型任务要有资料来源,不能只依赖模型参数记忆。
2. 引入边界:同时满足这些条件,才值得推进

只有当它能把问题从“凭感觉讨论”推进到“可设计、可评测、可复盘”时,才说明这个知识点真正进入了业务方案。

  • 当「上下文窗口」能改变日志总结、故障问答、文档检索、用户提示生成、研发辅助分析里的设计、评测或风险控制动作时,才值得进入方案。
  • 适合解释大模型为什么能总结、改写、分类、检索语义和生成草稿。
  • 适合设计 RAG、长上下文、微调和 Prompt 之间的取舍。
3. 反向边界:这些情况先停下来

专业判断的价值,不只是知道什么时候用,更是知道什么时候不用。下面这些情况出现时,要先补数据、补流程、补权限或补评测,而不是继续堆 AI 能力。

  • 长窗口不能替代知识库治理和检索。
  • 窗口里放了冲突信息时,模型可能选错依据。
  • 不要把大模型当事实数据库,尤其是版本、价格、政策、接口和错误码。
  • 不要把长上下文当万能方案,资料太多会增加成本并淹没关键证据。
  • 幻觉风险来自流畅表达和缺少证据,越面向用户越要保守。
4. 上线前判断:能回答这些问题再落地
  • 能说明当前任务为什么选择 Prompt、RAG、长上下文、微调或工具。
  • 能要求模型给证据、引用、不确定点和拒答条件。
  • 现场追问:你能不能解释这个能力是模型记忆、上下文、检索、工具还是人工确认带来的?
架构师总结:上下文窗口决定模型看得到什么,组织方式决定它看懂多少。 对架构师来说,上下文窗口 不是一个要背的名词,而是一把判断尺:先看前提是否成立,再看收益是否大于复杂度,最后看失败时有没有证据、兜底和责任人。
通用例子:先脱离技术看懂它

把 100 页文档塞进去问一个细节,不如先检索相关段落再提问更稳定。

这个例子要看见的重点:理解模型能力来源和不可靠边界。 所以例子不是为了记故事,而是为了训练你在新场景里做同类判断。

投影 / Android 实战推演
  • 业务推演:投影 Android 场景里,分析一次故障时,应把用户操作路径、关键错误码、设备和版本信息放在前面,完整日志作为附件或分段检索,而不是毫无结构地粘贴全部日志。
  • 你要补的证据:围绕「模型认知」列出数据、文档、日志、用户反馈或人工标注,避免只凭感觉判断。
  • 可交付物:沉淀 能力边界说明、模型选型说明、事实核验和拒答策略。,让同事能照着复用,而不是只听你口头解释。
  • 验收指标:至少选一个质量指标、一个效率指标、一个风险指标;比如正确率/一次解决率、定位耗时/追问轮次、误导用户率/转人工率。
  • 迁移能力:同一套思路也能迁移到客服、测试、研发效率、运营分析和产品决策,不局限于投影业务。
老师会这样检查你是否真会了
  • 你能不能用一句人话解释「上下文窗口」,并说出它解决的是「模型认知」里的什么问题?
  • 你能不能举一个适用场景和一个不适用场景,并说明边界来自数据、流程、风险还是权限?
  • 你能不能把它落到一个真实小任务:输入是什么、输出是什么、验收指标是什么、失败时谁兜底?
  • 老师追问:你能不能解释这个能力是模型记忆、上下文、检索、工具还是人工确认带来的?
  • 练习产物:为一次故障分析设计上下文顺序:问题摘要、设备信息、复现步骤、关键日志、历史相似案例。
精通标准:上下文窗口决定模型看得到什么,组织方式决定它看懂多少。 能精通的人,不是能背定义,而是能把它迁移到一个新业务里,写出判断表、数据要求、风险边界和落地动作。
业务判断方法

长文档场景要设计检索、摘要或分段策略。

3. 注意力机制

知识点讲解注意力帮助模型在上下文里关注相关片段。

老师板书 注意力机制 模型认知

注意力机制让模型利用上下文,但前提是你给的上下文足够清楚。

先用人话讲明白

注意力机制让模型在生成时关注上下文中的不同位置,建立词与词、句与句之间的关系。它是 Transformer 能处理长文本和复杂语义的核心之一。

类比像阅读时在重点句上划线,但划线不保证理解一定对。

为什么要学理解模型能力来源和不可靠边界。

把关键词拆开看
  • 关联:把远处相关信息联系起来。
  • 权重:不同信息对当前输出影响不同。
  • 上下文依赖:同一个词在不同上下文中含义不同。

入门版理解:注意力帮助模型在上下文里关注相关片段。

适用范围和边界
1. 优先原则:先满足前提,再谈使用

在实际工程里,任何概念都不能脱离场景硬套。学习「注意力机制」时,第一步不是问“它高级不高级”,而是问它是否真的能帮助你完成一个更清晰、更可验证的业务判断。

  • 先看它服务的专业判断是不是「模型认知」:理解模型能力来源和不可靠边界。
  • 先判断任务依赖语言生成、语义相似、资料检索、格式学习,还是工具执行。
  • 事实型任务要有资料来源,不能只依赖模型参数记忆。
2. 引入边界:同时满足这些条件,才值得推进

只有当它能把问题从“凭感觉讨论”推进到“可设计、可评测、可复盘”时,才说明这个知识点真正进入了业务方案。

  • 当「注意力机制」能改变日志总结、故障问答、文档检索、用户提示生成、研发辅助分析里的设计、评测或风险控制动作时,才值得进入方案。
  • 适合解释大模型为什么能总结、改写、分类、检索语义和生成草稿。
  • 适合设计 RAG、长上下文、微调和 Prompt 之间的取舍。
3. 反向边界:这些情况先停下来

专业判断的价值,不只是知道什么时候用,更是知道什么时候不用。下面这些情况出现时,要先补数据、补流程、补权限或补评测,而不是继续堆 AI 能力。

  • 注意力不是人工可完全信赖的解释。
  • 上下文太乱或证据冲突时,注意力也可能关注错重点。
  • 不要把大模型当事实数据库,尤其是版本、价格、政策、接口和错误码。
  • 不要把长上下文当万能方案,资料太多会增加成本并淹没关键证据。
  • 幻觉风险来自流畅表达和缺少证据,越面向用户越要保守。
4. 上线前判断:能回答这些问题再落地
  • 能说明当前任务为什么选择 Prompt、RAG、长上下文、微调或工具。
  • 能要求模型给证据、引用、不确定点和拒答条件。
  • 现场追问:你能不能解释这个能力是模型记忆、上下文、检索、工具还是人工确认带来的?
架构师总结:注意力机制让模型利用上下文,但前提是你给的上下文足够清楚。 对架构师来说,注意力机制 不是一个要背的名词,而是一把判断尺:先看前提是否成立,再看收益是否大于复杂度,最后看失败时有没有证据、兜底和责任人。
通用例子:先脱离技术看懂它

“苹果发布新品”和“苹果很甜”里的苹果含义不同,注意力机制帮助模型结合上下文判断。

这个例子要看见的重点:理解模型能力来源和不可靠边界。 所以例子不是为了记故事,而是为了训练你在新场景里做同类判断。

投影 / Android 实战推演
  • 业务推演:投影 Android 业务里,模型分析“黑屏”时要关注前文是播放黑屏、投屏黑屏、系统启动黑屏还是遥控器操作后黑屏。不同上下文对应完全不同处理流程。
  • 你要补的证据:围绕「模型认知」列出数据、文档、日志、用户反馈或人工标注,避免只凭感觉判断。
  • 可交付物:沉淀 能力边界说明、模型选型说明、事实核验和拒答策略。,让同事能照着复用,而不是只听你口头解释。
  • 验收指标:至少选一个质量指标、一个效率指标、一个风险指标;比如正确率/一次解决率、定位耗时/追问轮次、误导用户率/转人工率。
  • 迁移能力:同一套思路也能迁移到客服、测试、研发效率、运营分析和产品决策,不局限于投影业务。
老师会这样检查你是否真会了
  • 你能不能用一句人话解释「注意力机制」,并说出它解决的是「模型认知」里的什么问题?
  • 你能不能举一个适用场景和一个不适用场景,并说明边界来自数据、流程、风险还是权限?
  • 你能不能把它落到一个真实小任务:输入是什么、输出是什么、验收指标是什么、失败时谁兜底?
  • 老师追问:你能不能解释这个能力是模型记忆、上下文、检索、工具还是人工确认带来的?
  • 练习产物:给模型输入一段含糊反馈,补充不同上下文,观察输出如何变化,并总结哪些上下文最关键。
精通标准:注意力机制让模型利用上下文,但前提是你给的上下文足够清楚。 能精通的人,不是能背定义,而是能把它迁移到一个新业务里,写出判断表、数据要求、风险边界和落地动作。
业务判断方法

重要信息要放清楚,不要让模型在噪声里猜。

学习产出

一份《RAG、长上下文、微调选择说明》

10 分钟练习

把一个长需求拆成“必须给模型看”和“可检索补充”的两类信息。

老师怎么判断你学会了

提交作业交一张上下文设计表:输入、约束、示例、输出格式。

  • 合格能解释 token 和上下文为什么影响成本与效果。
  • 优秀能设计减少噪声、突出关键信息的上下文结构。
  • 没通过把所有资料一次性塞给模型。
03 1 天

幻觉、概率生成与能力边界

本步 3 个知识点
学习目标

能判断哪些场景不能只靠大模型直接回答。

先记这一句话

LLM 是按概率生成最可能的文本,不天然保证事实正确。

知识点清单与业务判断 先会用,再理解

1. 概率生成

知识点讲解模型生成的是看起来合理的下一个 token 序列。

老师板书 概率生成 生成

概率生成会说得像真的,所以更需要证据约束。

先用人话讲明白

大模型生成文本时,本质是在上下文基础上预测下一个 token 的概率分布,再一步步生成回答。它擅长语言连续性,但不天然保证事实正确。

类比可以把它理解成模型这台机器内部的一种工作方式:它很会找模式,但需要边界和证据。

为什么要学理解大模型为什么能写得流畅,也为什么会不稳定。

把关键词拆开看
  • 概率:输出是可能性最高或采样得到的结果。
  • 温度:控制输出稳定或发散。
  • 非确定性:同一问题可能多次回答略有不同。

入门版理解:模型生成的是看起来合理的下一个 token 序列。

适用范围和边界
1. 优先原则:先满足前提,再谈使用

在实际工程里,任何概念都不能脱离场景硬套。学习「概率生成」时,第一步不是问“它高级不高级”,而是问它是否真的能帮助你完成一个更清晰、更可验证的业务判断。

  • 先看它服务的专业判断是不是「生成」:理解大模型为什么能写得流畅,也为什么会不稳定。
  • 先判断任务依赖语言生成、语义相似、资料检索、格式学习,还是工具执行。
  • 事实型任务要有资料来源,不能只依赖模型参数记忆。
2. 引入边界:同时满足这些条件,才值得推进

只有当它能把问题从“凭感觉讨论”推进到“可设计、可评测、可复盘”时,才说明这个知识点真正进入了业务方案。

  • 当「概率生成」能改变日志总结、故障问答、文档检索、用户提示生成、研发辅助分析里的设计、评测或风险控制动作时,才值得进入方案。
  • 适合解释大模型为什么能总结、改写、分类、检索语义和生成草稿。
  • 适合设计 RAG、长上下文、微调和 Prompt 之间的取舍。
3. 反向边界:这些情况先停下来

专业判断的价值,不只是知道什么时候用,更是知道什么时候不用。下面这些情况出现时,要先补数据、补流程、补权限或补评测,而不是继续堆 AI 能力。

  • 事实型、金额型、权限型回答不能只靠概率生成。
  • 需要稳定输出时,要降低随机性并加结构化约束。
  • 不要把大模型当事实数据库,尤其是版本、价格、政策、接口和错误码。
  • 不要把长上下文当万能方案,资料太多会增加成本并淹没关键证据。
  • 幻觉风险来自流畅表达和缺少证据,越面向用户越要保守。
4. 上线前判断:能回答这些问题再落地
  • 能说明当前任务为什么选择 Prompt、RAG、长上下文、微调或工具。
  • 能要求模型给证据、引用、不确定点和拒答条件。
  • 现场追问:你能不能解释这个能力是模型记忆、上下文、检索、工具还是人工确认带来的?
架构师总结:概率生成会说得像真的,所以更需要证据约束。 对架构师来说,概率生成 不是一个要背的名词,而是一把判断尺:先看前提是否成立,再看收益是否大于复杂度,最后看失败时有没有证据、兜底和责任人。
通用例子:先脱离技术看懂它

模型能写出流畅解释,是因为它学会了语言模式;但流畅不等于事实可靠。

这个例子要看见的重点:理解大模型为什么能写得流畅,也为什么会不稳定。 所以例子不是为了记故事,而是为了训练你在新场景里做同类判断。

投影 / Android 实战推演
  • 业务推演:投影 Android 场景里,让模型写排障建议时,它可能生成听起来合理但不适合某机型的步骤。因此要把机型、版本、官方文档和禁止操作明确给它。
  • 你要补的证据:围绕「生成」列出数据、文档、日志、用户反馈或人工标注,避免只凭感觉判断。
  • 可交付物:沉淀 能力边界说明、模型选型说明、事实核验和拒答策略。,让同事能照着复用,而不是只听你口头解释。
  • 验收指标:至少选一个质量指标、一个效率指标、一个风险指标;比如正确率/一次解决率、定位耗时/追问轮次、误导用户率/转人工率。
  • 迁移能力:同一套思路也能迁移到客服、测试、研发效率、运营分析和产品决策,不局限于投影业务。
老师会这样检查你是否真会了
  • 你能不能用一句人话解释「概率生成」,并说出它解决的是「生成」里的什么问题?
  • 你能不能举一个适用场景和一个不适用场景,并说明边界来自数据、流程、风险还是权限?
  • 你能不能把它落到一个真实小任务:输入是什么、输出是什么、验收指标是什么、失败时谁兜底?
  • 老师追问:你能不能解释这个能力是模型记忆、上下文、检索、工具还是人工确认带来的?
  • 练习产物:对同一故障问题让模型回答三次,比较差异,标出哪些内容必须由知识库或规则固定。
精通标准:概率生成会说得像真的,所以更需要证据约束。 能精通的人,不是能背定义,而是能把它迁移到一个新业务里,写出判断表、数据要求、风险边界和落地动作。
业务判断方法

对事实、数字、制度类问题要接入来源和校验。

2. 幻觉

知识点讲解模型可能编造不存在的事实、链接、规则或引用。

老师板书 幻觉 模型认知

治理幻觉的关键不是让模型更会编,而是让它有证据、会拒答。

先用人话讲明白

幻觉是模型生成看似合理但实际不存在、不准确或无法验证的信息。它不是简单的“模型笨”,而是概率生成和缺少事实约束共同造成的风险。

类比像一个表达能力很强的人,在没有资料时也能编出顺口答案。

为什么要学理解模型能力来源和不可靠边界。

把关键词拆开看
  • 无依据回答:没有来源却编出结论。
  • 细节捏造:型号、版本、链接、参数尤其容易被编。
  • 过度自信:语气确定不代表内容正确。

入门版理解:模型可能编造不存在的事实、链接、规则或引用。

适用范围和边界
1. 优先原则:先满足前提,再谈使用

在实际工程里,任何概念都不能脱离场景硬套。学习「幻觉」时,第一步不是问“它高级不高级”,而是问它是否真的能帮助你完成一个更清晰、更可验证的业务判断。

  • 先看它服务的专业判断是不是「模型认知」:理解模型能力来源和不可靠边界。
  • 先判断任务依赖语言生成、语义相似、资料检索、格式学习,还是工具执行。
  • 事实型任务要有资料来源,不能只依赖模型参数记忆。
2. 引入边界:同时满足这些条件,才值得推进

只有当它能把问题从“凭感觉讨论”推进到“可设计、可评测、可复盘”时,才说明这个知识点真正进入了业务方案。

  • 当「幻觉」能改变日志总结、故障问答、文档检索、用户提示生成、研发辅助分析里的设计、评测或风险控制动作时,才值得进入方案。
  • 适合解释大模型为什么能总结、改写、分类、检索语义和生成草稿。
  • 适合设计 RAG、长上下文、微调和 Prompt 之间的取舍。
3. 反向边界:这些情况先停下来

专业判断的价值,不只是知道什么时候用,更是知道什么时候不用。下面这些情况出现时,要先补数据、补流程、补权限或补评测,而不是继续堆 AI 能力。

  • 越专业、越小众、越新的知识越要核验。
  • 不能让模型在不知道时硬答,要允许拒答和转人工。
  • 不要把大模型当事实数据库,尤其是版本、价格、政策、接口和错误码。
  • 不要把长上下文当万能方案,资料太多会增加成本并淹没关键证据。
  • 幻觉风险来自流畅表达和缺少证据,越面向用户越要保守。
4. 上线前判断:能回答这些问题再落地
  • 能说明当前任务为什么选择 Prompt、RAG、长上下文、微调或工具。
  • 能要求模型给证据、引用、不确定点和拒答条件。
  • 现场追问:你能不能解释这个能力是模型记忆、上下文、检索、工具还是人工确认带来的?
架构师总结:治理幻觉的关键不是让模型更会编,而是让它有证据、会拒答。 对架构师来说,幻觉 不是一个要背的名词,而是一把判断尺:先看前提是否成立,再看收益是否大于复杂度,最后看失败时有没有证据、兜底和责任人。
通用例子:先脱离技术看懂它

模型编造一本不存在的书、一个不存在的 API 参数,都是幻觉。

这个例子要看见的重点:理解模型能力来源和不可靠边界。 所以例子不是为了记故事,而是为了训练你在新场景里做同类判断。

投影 / Android 实战推演
  • 业务推演:投影 Android 业务里,模型可能编出某个设备不存在的设置路径、错误码含义或系统接口。面向用户或研发输出时,必须要求引用真实文档、代码、日志或知识库片段。
  • 你要补的证据:围绕「模型认知」列出数据、文档、日志、用户反馈或人工标注,避免只凭感觉判断。
  • 可交付物:沉淀 能力边界说明、模型选型说明、事实核验和拒答策略。,让同事能照着复用,而不是只听你口头解释。
  • 验收指标:至少选一个质量指标、一个效率指标、一个风险指标;比如正确率/一次解决率、定位耗时/追问轮次、误导用户率/转人工率。
  • 迁移能力:同一套思路也能迁移到客服、测试、研发效率、运营分析和产品决策,不局限于投影业务。
老师会这样检查你是否真会了
  • 你能不能用一句人话解释「幻觉」,并说出它解决的是「模型认知」里的什么问题?
  • 你能不能举一个适用场景和一个不适用场景,并说明边界来自数据、流程、风险还是权限?
  • 你能不能把它落到一个真实小任务:输入是什么、输出是什么、验收指标是什么、失败时谁兜底?
  • 老师追问:你能不能解释这个能力是模型记忆、上下文、检索、工具还是人工确认带来的?
  • 练习产物:设计一个回答格式,要求模型每个结论后面写证据来源;没有证据时必须写“不确定”。
精通标准:治理幻觉的关键不是让模型更会编,而是让它有证据、会拒答。 能精通的人,不是能背定义,而是能把它迁移到一个新业务里,写出判断表、数据要求、风险边界和落地动作。
业务判断方法

高风险输出必须要求引用、检索、人工复核或拒答。

3. 能力边界

知识点讲解模型擅长语言处理、归纳和生成,不擅长没有来源的精确事实。

老师板书 能力边界 控制

能力边界让 AI 可控地强,而不是失控地忙。

先用人话讲明白

能力边界是明确模型稳定能做什么、勉强能做什么、不能放手做什么。它让团队对 AI 的使用有清醒预期。

类比可以把它理解成模型这台机器内部的一种工作方式:它很会找模式,但需要边界和证据。

为什么要学把能自动做、需复核、禁止做的任务分开。

把关键词拆开看
  • 稳定能力:多次测试都能可靠完成的任务。
  • 风险能力:偶尔可用但需要人工复核的任务。
  • 禁止能力:高风险、无证据、越权或不可审计的任务。

入门版理解:模型擅长语言处理、归纳和生成,不擅长没有来源的精确事实。

适用范围和边界
1. 优先原则:先满足前提,再谈使用

在实际工程里,任何概念都不能脱离场景硬套。学习「能力边界」时,第一步不是问“它高级不高级”,而是问它是否真的能帮助你完成一个更清晰、更可验证的业务判断。

  • 先看它服务的专业判断是不是「控制」:把能自动做、需复核、禁止做的任务分开。
  • 先判断任务依赖语言生成、语义相似、资料检索、格式学习,还是工具执行。
  • 事实型任务要有资料来源,不能只依赖模型参数记忆。
2. 引入边界:同时满足这些条件,才值得推进

只有当它能把问题从“凭感觉讨论”推进到“可设计、可评测、可复盘”时,才说明这个知识点真正进入了业务方案。

  • 当「能力边界」能改变日志总结、故障问答、文档检索、用户提示生成、研发辅助分析里的设计、评测或风险控制动作时,才值得进入方案。
  • 适合解释大模型为什么能总结、改写、分类、检索语义和生成草稿。
  • 适合设计 RAG、长上下文、微调和 Prompt 之间的取舍。
3. 反向边界:这些情况先停下来

专业判断的价值,不只是知道什么时候用,更是知道什么时候不用。下面这些情况出现时,要先补数据、补流程、补权限或补评测,而不是继续堆 AI 能力。

  • 边界不是一次性文档,要随模型、数据和业务变化更新。
  • 越靠近真实用户权益,边界越要保守。
  • 不要把大模型当事实数据库,尤其是版本、价格、政策、接口和错误码。
  • 不要把长上下文当万能方案,资料太多会增加成本并淹没关键证据。
  • 幻觉风险来自流畅表达和缺少证据,越面向用户越要保守。
4. 上线前判断:能回答这些问题再落地
  • 能说明当前任务为什么选择 Prompt、RAG、长上下文、微调或工具。
  • 能要求模型给证据、引用、不确定点和拒答条件。
  • 现场追问:你能不能解释这个能力是模型记忆、上下文、检索、工具还是人工确认带来的?
架构师总结:能力边界让 AI 可控地强,而不是失控地忙。 对架构师来说,能力边界 不是一个要背的名词,而是一把判断尺:先看前提是否成立,再看收益是否大于复杂度,最后看失败时有没有证据、兜底和责任人。
通用例子:先脱离技术看懂它

让模型总结一份文档通常可控;让模型直接决定退款、删除数据、封禁账号就需要严格限制。

这个例子要看见的重点:把能自动做、需复核、禁止做的任务分开。 所以例子不是为了记故事,而是为了训练你在新场景里做同类判断。

投影 / Android 实战推演
  • 业务推演:投影 Android 业务里,AI 可以总结日志、推荐排障步骤、生成测试用例草稿;但不能自动删除用户数据、修改线上配置、承诺硬件故障赔付。
  • 你要补的证据:围绕「控制」列出数据、文档、日志、用户反馈或人工标注,避免只凭感觉判断。
  • 可交付物:沉淀 能力边界说明、模型选型说明、事实核验和拒答策略。,让同事能照着复用,而不是只听你口头解释。
  • 验收指标:至少选一个质量指标、一个效率指标、一个风险指标;比如正确率/一次解决率、定位耗时/追问轮次、误导用户率/转人工率。
  • 迁移能力:同一套思路也能迁移到客服、测试、研发效率、运营分析和产品决策,不局限于投影业务。
老师会这样检查你是否真会了
  • 你能不能用一句人话解释「能力边界」,并说出它解决的是「控制」里的什么问题?
  • 你能不能举一个适用场景和一个不适用场景,并说明边界来自数据、流程、风险还是权限?
  • 你能不能把它落到一个真实小任务:输入是什么、输出是什么、验收指标是什么、失败时谁兜底?
  • 老师追问:你能不能解释这个能力是模型记忆、上下文、检索、工具还是人工确认带来的?
  • 练习产物:为你们的 AI 助手写三栏:可自动做、需人工确认、禁止做。每栏至少 5 项。
精通标准:能力边界让 AI 可控地强,而不是失控地忙。 能精通的人,不是能背定义,而是能把它迁移到一个新业务里,写出判断表、数据要求、风险边界和落地动作。
业务判断方法

业务评审要区分“写得好”和“说得对”。

学习产出

一份《RAG、长上下文、微调选择说明》

10 分钟练习

列出一个场景里哪些输出可以让模型生成,哪些必须有来源校验。

老师怎么判断你学会了

提交作业交一份风险清单:哪些答案需要引用、哪些需要人工复核。

  • 合格能指出幻觉风险和校验方法。
  • 优秀能设计引用、拒答和人工确认机制。
  • 没通过把模型语气自信当成事实正确。
04 1 天

RAG、长上下文、微调怎么选

本步 3 个知识点
学习目标

能在技术评审中说清三种方案的取舍。

先记这一句话

缺知识优先 RAG,缺上下文空间考虑长上下文,缺稳定行为再考虑微调。

知识点清单与业务判断 先会用,再理解

1. RAG

知识点讲解先检索外部知识,再让模型基于资料回答。

老师板书 RAG 模型认知

RAG 的价值是让模型少靠记忆,多靠你可信的资料。

先用人话讲明白

RAG 是先从知识库检索相关资料,再让大模型基于资料回答。它适合企业知识、产品文档、FAQ、代码规范等需要来源的场景。

类比像开卷考试,先翻可信资料,再组织答案。

为什么要学理解模型能力来源和不可靠边界。

把关键词拆开看
  • 检索:先找到可能相关的资料。
  • 增强:把资料放进上下文,让模型有依据。
  • 生成:基于资料组织答案,并给出引用。

入门版理解:先检索外部知识,再让模型基于资料回答。

适用范围和边界
1. 优先原则:先满足前提,再谈使用

在实际工程里,任何概念都不能脱离场景硬套。学习「RAG」时,第一步不是问“它高级不高级”,而是问它是否真的能帮助你完成一个更清晰、更可验证的业务判断。

  • 先看它服务的专业判断是不是「模型认知」:理解模型能力来源和不可靠边界。
  • 先判断任务依赖语言生成、语义相似、资料检索、格式学习,还是工具执行。
  • 事实型任务要有资料来源,不能只依赖模型参数记忆。
2. 引入边界:同时满足这些条件,才值得推进

只有当它能把问题从“凭感觉讨论”推进到“可设计、可评测、可复盘”时,才说明这个知识点真正进入了业务方案。

  • 当「RAG」能改变日志总结、故障问答、文档检索、用户提示生成、研发辅助分析里的设计、评测或风险控制动作时,才值得进入方案。
  • 适合解释大模型为什么能总结、改写、分类、检索语义和生成草稿。
  • 适合设计 RAG、长上下文、微调和 Prompt 之间的取舍。
3. 反向边界:这些情况先停下来

专业判断的价值,不只是知道什么时候用,更是知道什么时候不用。下面这些情况出现时,要先补数据、补流程、补权限或补评测,而不是继续堆 AI 能力。

  • 知识库资料错了,RAG 会认真引用错误资料。
  • 检索不到资料时要拒答或转人工,不能强行编。
  • 不要把大模型当事实数据库,尤其是版本、价格、政策、接口和错误码。
  • 不要把长上下文当万能方案,资料太多会增加成本并淹没关键证据。
  • 幻觉风险来自流畅表达和缺少证据,越面向用户越要保守。
4. 上线前判断:能回答这些问题再落地
  • 能说明当前任务为什么选择 Prompt、RAG、长上下文、微调或工具。
  • 能要求模型给证据、引用、不确定点和拒答条件。
  • 现场追问:你能不能解释这个能力是模型记忆、上下文、检索、工具还是人工确认带来的?
架构师总结:RAG 的价值是让模型少靠记忆,多靠你可信的资料。 对架构师来说,RAG 不是一个要背的名词,而是一把判断尺:先看前提是否成立,再看收益是否大于复杂度,最后看失败时有没有证据、兜底和责任人。
通用例子:先脱离技术看懂它

员工问报销政策时,系统先找公司制度,再总结答案,而不是让模型凭记忆回答。

这个例子要看见的重点:理解模型能力来源和不可靠边界。 所以例子不是为了记故事,而是为了训练你在新场景里做同类判断。

投影 / Android 实战推演
  • 业务推演:投影 Android 业务里,可以把产品手册、排障 SOP、错误码解释、版本发布说明、FAQ 做成知识库。用户问“投屏搜不到设备”,RAG 先找对应协议和机型文档,再生成排障步骤。
  • 你要补的证据:围绕「模型认知」列出数据、文档、日志、用户反馈或人工标注,避免只凭感觉判断。
  • 可交付物:沉淀 能力边界说明、模型选型说明、事实核验和拒答策略。,让同事能照着复用,而不是只听你口头解释。
  • 验收指标:至少选一个质量指标、一个效率指标、一个风险指标;比如正确率/一次解决率、定位耗时/追问轮次、误导用户率/转人工率。
  • 迁移能力:同一套思路也能迁移到客服、测试、研发效率、运营分析和产品决策,不局限于投影业务。
老师会这样检查你是否真会了
  • 你能不能用一句人话解释「RAG」,并说出它解决的是「模型认知」里的什么问题?
  • 你能不能举一个适用场景和一个不适用场景,并说明边界来自数据、流程、风险还是权限?
  • 你能不能把它落到一个真实小任务:输入是什么、输出是什么、验收指标是什么、失败时谁兜底?
  • 老师追问:你能不能解释这个能力是模型记忆、上下文、检索、工具还是人工确认带来的?
  • 练习产物:选一个常见用户问题,写出 RAG 应该检索哪些文档、答案中必须引用哪些依据。
精通标准:RAG 的价值是让模型少靠记忆,多靠你可信的资料。 能精通的人,不是能背定义,而是能把它迁移到一个新业务里,写出判断表、数据要求、风险边界和落地动作。
业务判断方法

适合内部文档、制度、知识库和更新频繁内容。

2. 长上下文

知识点讲解把更多材料直接放进模型上下文。

老师板书 长上下文 上下文

长上下文能放更多信息,但不等于自动理解更好。

先用人话讲明白

长上下文是把大量材料直接放进模型窗口中处理。它适合一次性阅读长材料,但成本、速度和关键证据定位都需要设计。

类比可以把它理解成模型这台机器内部的一种工作方式:它很会找模式,但需要边界和证据。

为什么要学判断什么时候直接给长材料,什么时候应先检索和摘要。

把关键词拆开看
  • 整包输入:不先检索,直接给大量材料。
  • 成本延迟:材料越长,调用越贵越慢。
  • 证据定位:要让模型指出依据在何处。

入门版理解:把更多材料直接放进模型上下文。

适用范围和边界
1. 优先原则:先满足前提,再谈使用

在实际工程里,任何概念都不能脱离场景硬套。学习「长上下文」时,第一步不是问“它高级不高级”,而是问它是否真的能帮助你完成一个更清晰、更可验证的业务判断。

  • 先看它服务的专业判断是不是「上下文」:判断什么时候直接给长材料,什么时候应先检索和摘要。
  • 先判断任务依赖语言生成、语义相似、资料检索、格式学习,还是工具执行。
  • 事实型任务要有资料来源,不能只依赖模型参数记忆。
2. 引入边界:同时满足这些条件,才值得推进

只有当它能把问题从“凭感觉讨论”推进到“可设计、可评测、可复盘”时,才说明这个知识点真正进入了业务方案。

  • 当「长上下文」能改变日志总结、故障问答、文档检索、用户提示生成、研发辅助分析里的设计、评测或风险控制动作时,才值得进入方案。
  • 适合解释大模型为什么能总结、改写、分类、检索语义和生成草稿。
  • 适合设计 RAG、长上下文、微调和 Prompt 之间的取舍。
3. 反向边界:这些情况先停下来

专业判断的价值,不只是知道什么时候用,更是知道什么时候不用。下面这些情况出现时,要先补数据、补流程、补权限或补评测,而不是继续堆 AI 能力。

  • 长上下文不适合频繁重复的小查询,成本会很高。
  • 资料里有冲突时,模型可能选错,必须要求引用和冲突提示。
  • 不要把大模型当事实数据库,尤其是版本、价格、政策、接口和错误码。
  • 不要把长上下文当万能方案,资料太多会增加成本并淹没关键证据。
  • 幻觉风险来自流畅表达和缺少证据,越面向用户越要保守。
4. 上线前判断:能回答这些问题再落地
  • 能说明当前任务为什么选择 Prompt、RAG、长上下文、微调或工具。
  • 能要求模型给证据、引用、不确定点和拒答条件。
  • 现场追问:你能不能解释这个能力是模型记忆、上下文、检索、工具还是人工确认带来的?
架构师总结:长上下文能放更多信息,但不等于自动理解更好。 对架构师来说,长上下文 不是一个要背的名词,而是一把判断尺:先看前提是否成立,再看收益是否大于复杂度,最后看失败时有没有证据、兜底和责任人。
通用例子:先脱离技术看懂它

让模型阅读一份完整合同并总结风险,是长上下文的典型场景。

这个例子要看见的重点:判断什么时候直接给长材料,什么时候应先检索和摘要。 所以例子不是为了记故事,而是为了训练你在新场景里做同类判断。

投影 / Android 实战推演
  • 业务推演:投影 Android 场景里,分析一次复杂崩溃可以把关键日志、版本说明、最近提交记录放进长上下文,但要先做摘要和分段,避免把无关日志淹没关键堆栈。
  • 你要补的证据:围绕「上下文」列出数据、文档、日志、用户反馈或人工标注,避免只凭感觉判断。
  • 可交付物:沉淀 能力边界说明、模型选型说明、事实核验和拒答策略。,让同事能照着复用,而不是只听你口头解释。
  • 验收指标:至少选一个质量指标、一个效率指标、一个风险指标;比如正确率/一次解决率、定位耗时/追问轮次、误导用户率/转人工率。
  • 迁移能力:同一套思路也能迁移到客服、测试、研发效率、运营分析和产品决策,不局限于投影业务。
老师会这样检查你是否真会了
  • 你能不能用一句人话解释「长上下文」,并说出它解决的是「上下文」里的什么问题?
  • 你能不能举一个适用场景和一个不适用场景,并说明边界来自数据、流程、风险还是权限?
  • 你能不能把它落到一个真实小任务:输入是什么、输出是什么、验收指标是什么、失败时谁兜底?
  • 老师追问:你能不能解释这个能力是模型记忆、上下文、检索、工具还是人工确认带来的?
  • 练习产物:设计一个长日志分析输入模板:先放摘要,再放环境,再放关键日志,再放完整日志片段。
精通标准:长上下文能放更多信息,但不等于自动理解更好。 能精通的人,不是能背定义,而是能把它迁移到一个新业务里,写出判断表、数据要求、风险边界和落地动作。
业务判断方法

适合一次性长材料处理,但成本和注意力分散要评估。

3. 微调

知识点讲解用样本调整模型行为风格或任务模式。

老师板书 微调 模型认知

微调适合教模型怎么做事,不适合让模型背动态事实。

先用人话讲明白

微调是用特定数据继续训练模型,使它更适合某类任务、格式或风格。它适合稳定任务,不适合频繁更新事实知识。

类比像训练员工形成固定工作习惯,不适合让员工背每天变化的公告。

为什么要学理解模型能力来源和不可靠边界。

把关键词拆开看
  • 行为固化:让模型稳定遵守某种输出风格或任务模式。
  • 样本质量:微调样本必须代表你希望模型学会的行为。
  • 知识更新限制:新政策、新文档通常更适合 RAG,而不是微调。

入门版理解:用样本调整模型行为风格或任务模式。

适用范围和边界
1. 优先原则:先满足前提,再谈使用

在实际工程里,任何概念都不能脱离场景硬套。学习「微调」时,第一步不是问“它高级不高级”,而是问它是否真的能帮助你完成一个更清晰、更可验证的业务判断。

  • 先看它服务的专业判断是不是「模型认知」:理解模型能力来源和不可靠边界。
  • 先判断任务依赖语言生成、语义相似、资料检索、格式学习,还是工具执行。
  • 事实型任务要有资料来源,不能只依赖模型参数记忆。
2. 引入边界:同时满足这些条件,才值得推进

只有当它能把问题从“凭感觉讨论”推进到“可设计、可评测、可复盘”时,才说明这个知识点真正进入了业务方案。

  • 当「微调」能改变日志总结、故障问答、文档检索、用户提示生成、研发辅助分析里的设计、评测或风险控制动作时,才值得进入方案。
  • 适合解释大模型为什么能总结、改写、分类、检索语义和生成草稿。
  • 适合设计 RAG、长上下文、微调和 Prompt 之间的取舍。
3. 反向边界:这些情况先停下来

专业判断的价值,不只是知道什么时候用,更是知道什么时候不用。下面这些情况出现时,要先补数据、补流程、补权限或补评测,而不是继续堆 AI 能力。

  • 微调不能修复脏数据和混乱流程。
  • 微调后仍需要评测,不能认为领域数据一喂就好。
  • 不要把大模型当事实数据库,尤其是版本、价格、政策、接口和错误码。
  • 不要把长上下文当万能方案,资料太多会增加成本并淹没关键证据。
  • 幻觉风险来自流畅表达和缺少证据,越面向用户越要保守。
4. 上线前判断:能回答这些问题再落地
  • 能说明当前任务为什么选择 Prompt、RAG、长上下文、微调或工具。
  • 能要求模型给证据、引用、不确定点和拒答条件。
  • 现场追问:你能不能解释这个能力是模型记忆、上下文、检索、工具还是人工确认带来的?
架构师总结:微调适合教模型怎么做事,不适合让模型背动态事实。 对架构师来说,微调 不是一个要背的名词,而是一把判断尺:先看前提是否成立,再看收益是否大于复杂度,最后看失败时有没有证据、兜底和责任人。
通用例子:先脱离技术看懂它

把客服回答风格训练得更符合公司语气,可以考虑微调;让模型记住每天变化的库存,不适合微调。

这个例子要看见的重点:理解模型能力来源和不可靠边界。 所以例子不是为了记故事,而是为了训练你在新场景里做同类判断。

投影 / Android 实战推演
  • 业务推演:投影 Android 业务里,如果客服排障回答有稳定模板,可以微调模型学习表达方式;但设备兼容表、版本问题、错误码含义应放知识库,用 RAG 更新。
  • 你要补的证据:围绕「模型认知」列出数据、文档、日志、用户反馈或人工标注,避免只凭感觉判断。
  • 可交付物:沉淀 能力边界说明、模型选型说明、事实核验和拒答策略。,让同事能照着复用,而不是只听你口头解释。
  • 验收指标:至少选一个质量指标、一个效率指标、一个风险指标;比如正确率/一次解决率、定位耗时/追问轮次、误导用户率/转人工率。
  • 迁移能力:同一套思路也能迁移到客服、测试、研发效率、运营分析和产品决策,不局限于投影业务。
老师会这样检查你是否真会了
  • 你能不能用一句人话解释「微调」,并说出它解决的是「模型认知」里的什么问题?
  • 你能不能举一个适用场景和一个不适用场景,并说明边界来自数据、流程、风险还是权限?
  • 你能不能把它落到一个真实小任务:输入是什么、输出是什么、验收指标是什么、失败时谁兜底?
  • 老师追问:你能不能解释这个能力是模型记忆、上下文、检索、工具还是人工确认带来的?
  • 练习产物:判断一个需求该用 Prompt、RAG 还是微调,并写出理由:事实是否变化、格式是否稳定、样本是否足够。
精通标准:微调适合教模型怎么做事,不适合让模型背动态事实。 能精通的人,不是能背定义,而是能把它迁移到一个新业务里,写出判断表、数据要求、风险边界和落地动作。
业务判断方法

适合稳定格式和风格,不适合让模型记住经常变化的知识。

学习产出

一份《RAG、长上下文、微调选择说明》

10 分钟练习

为一个知识问答场景写三种方案的优缺点。

老师怎么判断你学会了

提交作业交一页选择说明:为什么选 RAG、长上下文或微调。

  • 合格能按知识更新频率、成本、稳定性做选择。
  • 优秀能指出不该微调的知识型场景。
  • 没通过把微调当成解决一切效果问题的办法。
系统资料

这些资料用于深挖原理。先完成本页作业,再去看资料,效率会高很多。