AI 晋升学习模块

Module 01

AI 基础认知与机器学习

先学会判断什么问题适合 AI,再谈模型和工具。

老师带学方式

你不需要一次全懂

先记一句话,再做 10 分钟练习,最后交一个小作业。老师只看你能不能把知识用到真实业务判断里。

每一步按 4 个动作学
  1. 先背一句话,建立判断框架。
  2. 看知识点,但只抓业务判断方法。
  3. 做 10 分钟练习,套到你的场景。
  4. 按“合格 / 优秀 / 没通过”检查作业。

Lessons

本模块学习步骤

每张卡都是一个小模块,建议一天只学 1-2 张,学完必须交作业,否则就算只看了一遍。

01 0.5 天

先学会判断:什么问题才适合用 AI

本步 4 个知识点
学习目标

能判断一个需求是否值得用 AI,而不是看到 AI 热就硬套。

先记这一句话

AI 适合“有历史数据、有明确答案、规则难写、结果可验证”的问题。

不适合直接做 AI

“让 AI 判断这个需求好不好。”目标太虚,没有历史答案,也没有验收标准。先做评审表更合适。

更适合用 AI

“根据历史工单标题、描述、处理记录,预测新工单分派小组。”有数据、有答案、规则难穷举,也能验证。

知识点清单与业务判断 先会用,再理解

1. AI vs 传统规则

知识点讲解规则靠人写清楚,机器学习从样本里归纳规律。规则稳定时优先规则,规则难穷举且样本充足时再考虑 AI。

老师板书 AI vs 传统规则 选型

会用 AI 的第一步不是调用模型,而是知道什么时候不用 AI。

先用人话讲明白

这个知识点是在判断“该写规则还是该用模型”。规则系统靠人把 if-then 条件写清楚,优点是稳定、便宜、可解释;AI/机器学习靠样本归纳规律,适合规则太多、变化太快、人的经验说不清的场景。

类比可以把它理解成把业务经验翻译成一张可训练、可验证的作业纸。

为什么要学判断该写规则、做流程,还是引入模型。

把关键词拆开看
  • 规则优先:能明确写成条件、法规、阈值、状态机的逻辑,先用规则。
  • 样本归纳:人能判断结果,但很难把所有判断过程写清楚时,才考虑模型。
  • 错误成本:AI 会有概率性错误,必须提前想清楚误判后谁兜底。

入门版理解:规则靠人写清楚,机器学习从样本里归纳规律。规则稳定时优先规则,规则难穷举且样本充足时再考虑 AI。

适用范围和边界
1. 优先原则:规则稳定时优先规则

在实际工程中,能用规则清楚表达的逻辑,永远优先用规则。因为规则系统便宜、稳定、可解释,出了问题也容易定位。AI 不是越早引入越好,AI 的价值在于处理规则写不完、写不稳、写了也维护不动的问题。

  • 高确定性与强解释性:规则是非黑即白的执行逻辑,例如权益开关、年龄限制、金额阈值、状态流转。一旦出错,研发可以直接查哪条规则命中。
  • 低成本与零冷启动:几行代码、一个配置表或一个状态机就能解决的问题,不需要收集样本、训练模型、维护评测集和监控漂移。
  • 典型场景:会员权益判断、优惠券满减、法定规则、权限校验、Android 页面焦点顺序、错误码到提示文案的映射。
2. 引入边界:规则难穷举 + 样本充足时再考虑 AI

只有同时满足“规则难穷举”和“样本充足”两个条件,AI 才可能比规则更合适。少一个条件,都要谨慎。

  • 条件一,规则难穷举:业务场景复杂、变化快、人的经验说得出结果但写不全过程。硬写规则会出现规则冲突、优先级混乱、维护成本暴涨。
  • 条件二,样本充足:必须有足够多、质量足够高、代表未来场景的历史样本。没有样本,模型不是“智能”,只是更贵的猜测器。
  • 适合 AI 的典型场景:垃圾内容识别、反欺诈风控、用户意图分类、故障日志归因、用户反馈聚类、图片/语音/自然语言理解。
3. 投影 / Android 应用中的选型边界

在投影设备和 Android App 开发里,不要看到“体验问题”就立刻上 AI。先把问题分成三类:规则能解决、数据分析能解决、确实需要 AI 学习。

  • 继续用规则:遥控器 D-pad 焦点顺序、会员按钮是否展示、网络错误码提示、固件版本兼容开关、埋点字段校验。
  • 先做数据分析:启动慢、播放卡顿、投屏失败率升高,先看版本、机型、网络、日志分布,不要一开始就训练模型。
  • 再考虑 AI:用户反馈表述混乱、日志组合复杂、故障原因难穷举、客服需要自动分类和推荐排障路径,并且已经积累了足够历史样本。
4. 上线前判断:四个问题答不上来,就先别用 AI
  • 规则是否已经足够?如果规则能覆盖主要场景,并且维护成本低,优先规则。
  • 样本是否足够?有没有真实用户、真实设备、真实版本、真实失败案例,而不是测试同学临时编的样例。
  • 指标是否可验收?能不能用准确率、召回率、一次解决率、定位耗时、转人工率证明 AI 真的有用。
  • 错误是否可兜底?AI 判断错时,是提示用户、转人工、降级规则,还是可能直接造成事故。
架构师总结:不要用高射炮轰蚊子。业务初期或逻辑清晰时,写死规则是最经济、高效且可控的方案;只有当规则多到人类无法穷举,并且手里有足够的数据资产支撑时,AI 才是那把对的钥匙。
通用例子:先脱离技术看懂它

优惠券满减、年龄校验、权限开关适合规则;垃圾评论识别、客服意图分类、图片质量判断更适合 AI,因为人很难穷举所有情况。

这个例子要看见的重点:判断该写规则、做流程,还是引入模型。 所以例子不是为了记故事,而是为了训练你在新场景里做同类判断。

投影 / Android 实战推演
  • 业务推演:投影 Android 应用里,遥控器按键焦点顺序、会员权益开关、网络错误码展示适合规则;用户反馈自动分类、日志自动归因、根据环境推荐画质/投屏设置,可以考虑 AI,因为输入复杂且人工规则容易爆炸。
  • 你要补的证据:围绕「选型」列出数据、文档、日志、用户反馈或人工标注,避免只凭感觉判断。
  • 可交付物:沉淀 场景判断表、数据字段表、评测指标和灰度上线规则。,让同事能照着复用,而不是只听你口头解释。
  • 验收指标:至少选一个质量指标、一个效率指标、一个风险指标;比如正确率/一次解决率、定位耗时/追问轮次、误导用户率/转人工率。
  • 迁移能力:同一套思路也能迁移到客服、测试、研发效率、运营分析和产品决策,不局限于投影业务。
老师会这样检查你是否真会了
  • 你能不能用一句人话解释「AI vs 传统规则」,并说出它解决的是「选型」里的什么问题?
  • 你能不能举一个适用场景和一个不适用场景,并说明边界来自数据、流程、风险还是权限?
  • 你能不能把它落到一个真实小任务:输入是什么、输出是什么、验收指标是什么、失败时谁兜底?
  • 老师追问:如果明天要把它放进真实 App 流程,你能不能说清数据从哪里来、结果谁验收、错了谁兜底?
  • 练习产物:拿你们 App 的一个需求写两列:哪些逻辑能用规则直接解决,哪些逻辑需要 AI 学习。每一项都写出数据来源、验收指标、失败兜底。
精通标准:会用 AI 的第一步不是调用模型,而是知道什么时候不用 AI。 能精通的人,不是能背定义,而是能把它迁移到一个新业务里,写出判断表、数据要求、风险边界和落地动作。
业务判断方法

先问:规则能否人工写清楚?规则是否经常变?是否有足够样本?错判能否衡量?

2. 输入与输出

知识点讲解机器学习任务要能表达成“根据输入 X,预测输出 Y”。X 是预测时能拿到的信息,Y 是业务真正想判断的结果。

老师板书 输入与输出 基础判断

输入输出说清楚,AI 项目才从口号变成可设计的系统。

先用人话讲明白

输入是模型判断时能看到的证据,输出是业务真正想得到的结果。机器学习问题必须能说成“根据这些输入,预测或生成那个输出”,否则需求还停留在愿望层。

类比像给同事派活:你必须说清给他什么材料,以及最终要交付什么。只说“把体验做好”不是任务。

为什么要学把 AI 想法拆成数据、目标、指标和上线风险。

把关键词拆开看
  • 输入 X:预测当时可获得的信息,不能偷看未来结果。
  • 输出 Y:可检查、可统计、可验收的目标,不是模糊愿望。
  • 时间点:要说明模型在什么时刻做判断,因为时刻不同,能用的数据不同。

入门版理解:机器学习任务要能表达成“根据输入 X,预测输出 Y”。X 是预测时能拿到的信息,Y 是业务真正想判断的结果。

适用范围和边界
1. 优先原则:先满足前提,再谈使用

在实际工程里,任何概念都不能脱离场景硬套。学习「输入与输出」时,第一步不是问“它高级不高级”,而是问它是否真的能帮助你完成一个更清晰、更可验证的业务判断。

  • 先看它服务的专业判断是不是「基础判断」:把 AI 想法拆成数据、目标、指标和上线风险。
  • 业务结果能被观察或验收,而不是只有“体验更好”这类愿望。
  • 预测或生成发生的时间点清楚,能区分当时可见信息和事后结果。
2. 引入边界:同时满足这些条件,才值得推进

只有当它能把问题从“凭感觉讨论”推进到“可设计、可评测、可复盘”时,才说明这个知识点真正进入了业务方案。

  • 当「输入与输出」能改变投影设备体验、Android App 性能、用户反馈、日志归因、客服排障里的设计、评测或风险控制动作时,才值得进入方案。
  • 适合在需求立项、AI 场景筛选、数据采集设计之前使用。
  • 适合把模糊想法拆成输入、输出、样本、标签、指标和兜底流程。
3. 反向边界:这些情况先停下来

专业判断的价值,不只是知道什么时候用,更是知道什么时候不用。下面这些情况出现时,要先补数据、补流程、补权限或补评测,而不是继续堆 AI 能力。

  • 如果输出无法验收,模型好坏就只能靠感觉判断。
  • 如果输入在真实上线时拿不到,离线效果再好也没有意义。
  • 不适合用来包装没有数据、没有结果定义、没有负责人承接的想法。
  • 不适合把一次性事故、纯主观偏好、无法验证的目标硬改成 AI 项目。
  • 最大风险是目标定义错:模型认真优化了一个对业务没有价值的指标。
4. 上线前判断:能回答这些问题再落地
  • 能写出一句完整任务:在什么时刻,使用哪些输入,输出什么结果。
  • 能说明结果由谁确认、多久能确认、错判后执行什么降级或人工兜底。
  • 现场追问:如果明天要把它放进真实 App 流程,你能不能说清数据从哪里来、结果谁验收、错了谁兜底?
架构师总结:输入输出说清楚,AI 项目才从口号变成可设计的系统。 对架构师来说,输入与输出 不是一个要背的名词,而是一把判断尺:先看前提是否成立,再看收益是否大于复杂度,最后看失败时有没有证据、兜底和责任人。
通用例子:先脱离技术看懂它

“提升用户体验”不是输出;“预测用户下次 7 天是否会再次打开 App”才是输出,因为它能被后续行为验证。

这个例子要看见的重点:把 AI 想法拆成数据、目标、指标和上线风险。 所以例子不是为了记故事,而是为了训练你在新场景里做同类判断。

投影 / Android 实战推演
  • 业务推演:投影 Android 场景里,输入可以是设备型号、系统版本、启动耗时、崩溃堆栈、用户操作路径、网络状态;输出可以是问题类别、可能根因、是否需要人工介入、推荐给用户的排障步骤。
  • 你要补的证据:围绕「基础判断」列出数据、文档、日志、用户反馈或人工标注,避免只凭感觉判断。
  • 可交付物:沉淀 场景判断表、数据字段表、评测指标和灰度上线规则。,让同事能照着复用,而不是只听你口头解释。
  • 验收指标:至少选一个质量指标、一个效率指标、一个风险指标;比如正确率/一次解决率、定位耗时/追问轮次、误导用户率/转人工率。
  • 迁移能力:同一套思路也能迁移到客服、测试、研发效率、运营分析和产品决策,不局限于投影业务。
老师会这样检查你是否真会了
  • 你能不能用一句人话解释「输入与输出」,并说出它解决的是「基础判断」里的什么问题?
  • 你能不能举一个适用场景和一个不适用场景,并说明边界来自数据、流程、风险还是权限?
  • 你能不能把它落到一个真实小任务:输入是什么、输出是什么、验收指标是什么、失败时谁兜底?
  • 老师追问:如果明天要把它放进真实 App 流程,你能不能说清数据从哪里来、结果谁验收、错了谁兜底?
  • 练习产物:把一个工作需求改写成:在什么时刻,拿到哪些输入,输出什么结果,谁来确认结果对不对。
精通标准:输入输出说清楚,AI 项目才从口号变成可设计的系统。 能精通的人,不是能背定义,而是能把它迁移到一个新业务里,写出判断表、数据要求、风险边界和落地动作。
业务判断方法

把需求改写成一句话。X 拿不到或 Y 说不清,就先别建模。

3. 标签 Label

知识点讲解标签是监督学习的标准答案,来自历史结果或人工标注。标签混乱,模型就会学习混乱目标。

老师板书 标签 Label 基础判断

标签质量决定模型上限,脏标签会把聪明模型教笨。

先用人话讲明白

标签是监督学习里的标准答案,告诉模型历史样本最终属于哪类、得多少分、是否成功。标签不是随便贴的文字,而是业务共识的编码。

类比像考试标准答案。答案本身写错了,学生越努力,错得越稳定。

为什么要学把 AI 想法拆成数据、目标、指标和上线风险。

把关键词拆开看
  • 标签口径:同一个样本,不同人是否会给出同一答案。
  • 标签来源:来自真实结果、专家标注、规则生成,可信度不同。
  • 标签延迟:有些结果要过几天才知道,比如是否复购、是否问题解决。

入门版理解:标签是监督学习的标准答案,来自历史结果或人工标注。标签混乱,模型就会学习混乱目标。

适用范围和边界
1. 优先原则:先满足前提,再谈使用

在实际工程里,任何概念都不能脱离场景硬套。学习「标签 Label」时,第一步不是问“它高级不高级”,而是问它是否真的能帮助你完成一个更清晰、更可验证的业务判断。

  • 先看它服务的专业判断是不是「基础判断」:把 AI 想法拆成数据、目标、指标和上线风险。
  • 业务结果能被观察或验收,而不是只有“体验更好”这类愿望。
  • 预测或生成发生的时间点清楚,能区分当时可见信息和事后结果。
2. 引入边界:同时满足这些条件,才值得推进

只有当它能把问题从“凭感觉讨论”推进到“可设计、可评测、可复盘”时,才说明这个知识点真正进入了业务方案。

  • 当「标签 Label」能改变投影设备体验、Android App 性能、用户反馈、日志归因、客服排障里的设计、评测或风险控制动作时,才值得进入方案。
  • 适合在需求立项、AI 场景筛选、数据采集设计之前使用。
  • 适合把模糊想法拆成输入、输出、样本、标签、指标和兜底流程。
3. 反向边界:这些情况先停下来

专业判断的价值,不只是知道什么时候用,更是知道什么时候不用。下面这些情况出现时,要先补数据、补流程、补权限或补评测,而不是继续堆 AI 能力。

  • 标签含糊时,先统一定义和标注规范,不要急着训练。
  • 标签由旧规则生成时,模型可能只是复制旧规则的偏见和漏洞。
  • 不适合用来包装没有数据、没有结果定义、没有负责人承接的想法。
  • 不适合把一次性事故、纯主观偏好、无法验证的目标硬改成 AI 项目。
  • 最大风险是目标定义错:模型认真优化了一个对业务没有价值的指标。
4. 上线前判断:能回答这些问题再落地
  • 能写出一句完整任务:在什么时刻,使用哪些输入,输出什么结果。
  • 能说明结果由谁确认、多久能确认、错判后执行什么降级或人工兜底。
  • 现场追问:如果明天要把它放进真实 App 流程,你能不能说清数据从哪里来、结果谁验收、错了谁兜底?
架构师总结:标签质量决定模型上限,脏标签会把聪明模型教笨。 对架构师来说,标签 Label 不是一个要背的名词,而是一把判断尺:先看前提是否成立,再看收益是否大于复杂度,最后看失败时有没有证据、兜底和责任人。
通用例子:先脱离技术看懂它

客服工单是否“已解决”可以作为标签,但如果客服为了关闭工单随手点完成,这个标签就会污染模型。

这个例子要看见的重点:把 AI 想法拆成数据、目标、指标和上线风险。 所以例子不是为了记故事,而是为了训练你在新场景里做同类判断。

投影 / Android 实战推演
  • 业务推演:投影 Android 应用里,可以把用户反馈标为“投屏连接失败 / 播放卡顿 / 遥控器焦点问题 / 账号会员问题”。如果研发、测试、客服对分类口径不一致,模型学到的就是混乱经验。
  • 你要补的证据:围绕「基础判断」列出数据、文档、日志、用户反馈或人工标注,避免只凭感觉判断。
  • 可交付物:沉淀 场景判断表、数据字段表、评测指标和灰度上线规则。,让同事能照着复用,而不是只听你口头解释。
  • 验收指标:至少选一个质量指标、一个效率指标、一个风险指标;比如正确率/一次解决率、定位耗时/追问轮次、误导用户率/转人工率。
  • 迁移能力:同一套思路也能迁移到客服、测试、研发效率、运营分析和产品决策,不局限于投影业务。
老师会这样检查你是否真会了
  • 你能不能用一句人话解释「标签 Label」,并说出它解决的是「基础判断」里的什么问题?
  • 你能不能举一个适用场景和一个不适用场景,并说明边界来自数据、流程、风险还是权限?
  • 你能不能把它落到一个真实小任务:输入是什么、输出是什么、验收指标是什么、失败时谁兜底?
  • 老师追问:如果明天要把它放进真实 App 流程,你能不能说清数据从哪里来、结果谁验收、错了谁兜底?
  • 练习产物:选 30 条真实反馈,让两个人独立打标签,统计分歧点;分歧最多的地方就是标签规范要补的地方。
精通标准:标签质量决定模型上限,脏标签会把聪明模型教笨。 能精通的人,不是能背定义,而是能把它迁移到一个新业务里,写出判断表、数据要求、风险边界和落地动作。
业务判断方法

检查历史数据是否有可靠答案、口径是否一致、是否和业务目标一致。

4. 可学习模式

知识点讲解模型只能学习数据里反复出现的规律,不能凭空理解业务意图。样本少、规律变、关键因素不可见时效果差。

老师板书 可学习模式 基础判断

AI 擅长学习重复规律,不擅长替你弥补没有记录的事实。

先用人话讲明白

可学习模式是数据里反复出现、未来还可能继续出现的规律。AI 不是魔法,它只能从历史里学到稳定信号,再迁移到相似的新样本上。

类比像老师从很多错题里总结规律;如果题目只出现一次,或者关键条件没写,老师也总结不出来。

为什么要学把 AI 想法拆成数据、目标、指标和上线风险。

把关键词拆开看
  • 重复性:问题不是只发生一次,而是有足够多类似样本。
  • 稳定性:历史规律在未来不会立刻失效。
  • 可观测性:影响结果的关键信息被记录下来了。

入门版理解:模型只能学习数据里反复出现的规律,不能凭空理解业务意图。样本少、规律变、关键因素不可见时效果差。

适用范围和边界
1. 优先原则:先满足前提,再谈使用

在实际工程里,任何概念都不能脱离场景硬套。学习「可学习模式」时,第一步不是问“它高级不高级”,而是问它是否真的能帮助你完成一个更清晰、更可验证的业务判断。

  • 先看它服务的专业判断是不是「基础判断」:把 AI 想法拆成数据、目标、指标和上线风险。
  • 业务结果能被观察或验收,而不是只有“体验更好”这类愿望。
  • 预测或生成发生的时间点清楚,能区分当时可见信息和事后结果。
2. 引入边界:同时满足这些条件,才值得推进

只有当它能把问题从“凭感觉讨论”推进到“可设计、可评测、可复盘”时,才说明这个知识点真正进入了业务方案。

  • 当「可学习模式」能改变投影设备体验、Android App 性能、用户反馈、日志归因、客服排障里的设计、评测或风险控制动作时,才值得进入方案。
  • 适合在需求立项、AI 场景筛选、数据采集设计之前使用。
  • 适合把模糊想法拆成输入、输出、样本、标签、指标和兜底流程。
3. 反向边界:这些情况先停下来

专业判断的价值,不只是知道什么时候用,更是知道什么时候不用。下面这些情况出现时,要先补数据、补流程、补权限或补评测,而不是继续堆 AI 能力。

  • 关键变量没记录时,模型只能猜影子,不能学到原因。
  • 业务策略频繁变化时,旧数据可能很快过期。
  • 不适合用来包装没有数据、没有结果定义、没有负责人承接的想法。
  • 不适合把一次性事故、纯主观偏好、无法验证的目标硬改成 AI 项目。
  • 最大风险是目标定义错:模型认真优化了一个对业务没有价值的指标。
4. 上线前判断:能回答这些问题再落地
  • 能写出一句完整任务:在什么时刻,使用哪些输入,输出什么结果。
  • 能说明结果由谁确认、多久能确认、错判后执行什么降级或人工兜底。
  • 现场追问:如果明天要把它放进真实 App 流程,你能不能说清数据从哪里来、结果谁验收、错了谁兜底?
架构师总结:AI 擅长学习重复规律,不擅长替你弥补没有记录的事实。 对架构师来说,可学习模式 不是一个要背的名词,而是一把判断尺:先看前提是否成立,再看收益是否大于复杂度,最后看失败时有没有证据、兜底和责任人。
通用例子:先脱离技术看懂它

用户连续多次搜索同一类商品后更可能购买,这是可学习模式;某天服务器断电导致访问失败,是一次性事故,不适合拿来训练预测模型。

这个例子要看见的重点:把 AI 想法拆成数据、目标、指标和上线风险。 所以例子不是为了记故事,而是为了训练你在新场景里做同类判断。

投影 / Android 实战推演
  • 业务推演:投影业务里,如果某些机型、系统版本、网络环境组合更容易出现投屏失败,这可能是可学习模式;如果是某个用户家里路由器坏了,模型无法从通用数据里学会。
  • 你要补的证据:围绕「基础判断」列出数据、文档、日志、用户反馈或人工标注,避免只凭感觉判断。
  • 可交付物:沉淀 场景判断表、数据字段表、评测指标和灰度上线规则。,让同事能照着复用,而不是只听你口头解释。
  • 验收指标:至少选一个质量指标、一个效率指标、一个风险指标;比如正确率/一次解决率、定位耗时/追问轮次、误导用户率/转人工率。
  • 迁移能力:同一套思路也能迁移到客服、测试、研发效率、运营分析和产品决策,不局限于投影业务。
老师会这样检查你是否真会了
  • 你能不能用一句人话解释「可学习模式」,并说出它解决的是「基础判断」里的什么问题?
  • 你能不能举一个适用场景和一个不适用场景,并说明边界来自数据、流程、风险还是权限?
  • 你能不能把它落到一个真实小任务:输入是什么、输出是什么、验收指标是什么、失败时谁兜底?
  • 老师追问:如果明天要把它放进真实 App 流程,你能不能说清数据从哪里来、结果谁验收、错了谁兜底?
  • 练习产物:把一个 AI 想法拆成“规律是什么、出现过多少次、未来是否还会出现、记录了哪些证据”。四项答不出来,先补数据。
精通标准:AI 擅长学习重复规律,不擅长替你弥补没有记录的事实。 能精通的人,不是能背定义,而是能把它迁移到一个新业务里,写出判断表、数据要求、风险边界和落地动作。
业务判断方法

看样本是否足够、相似输入是否常对应相似输出、上线环境是否接近历史。

学习产出

一页《团队 AI 场景筛选标准》

10 分钟练习

拿一个真实想法,填 4 行:有没有历史数据?标准答案是什么?为什么规则难写?上线后用什么指标验证?

老师怎么判断你学会了

提交作业交一页判断表:数据、答案、规则难点、验证指标、错了怎么兜底。

  • 合格能给出“适合 / 不适合 / 先补数据”的结论,并说明 2 个以上理由。
  • 优秀能指出最大风险、验证指标和人工兜底方式,别人看完可以直接进入评审。
  • 没通过只说“可以用 AI 试试”,但说不清数据、答案、指标或错误成本。
02 1 天

识别问题类型:分类、回归、聚类、排序

本步 5 个知识点
学习目标

能把 AI 想法归类,并说明它需要什么数据和如何验收。

先记这一句话

先把需求改写成“根据 X,预测 Y”。Y 是类别,多半是分类;Y 是数字,多半是回归;Y 说不清,就先别建模。

知识点清单与业务判断 先会用,再理解

1. 监督学习

知识点讲解用带答案的历史样本训练模型,分类和回归通常属于监督学习。

老师板书 监督学习 基础判断

监督学习的关键不是算法名,而是有没有可信的历史答案。

先用人话讲明白

监督学习是用带答案的历史样本训练模型,让模型学会从输入到输出的映射。它适合“过去发生过类似事情,而且结果是知道的”的任务。

类比像带答案刷题,模型从例题和答案里学判断。

为什么要学把 AI 想法拆成数据、目标、指标和上线风险。

把关键词拆开看
  • 带答案样本:每条训练数据都有输入和正确输出。
  • 映射关系:模型学习的是 X 到 Y 的关系,不是学习业务愿望。
  • 验收方式:用未见过的测试样本检查预测是否接近真实答案。

入门版理解:用带答案的历史样本训练模型,分类和回归通常属于监督学习。

适用范围和边界
1. 优先原则:先满足前提,再谈使用

在实际工程里,任何概念都不能脱离场景硬套。学习「监督学习」时,第一步不是问“它高级不高级”,而是问它是否真的能帮助你完成一个更清晰、更可验证的业务判断。

  • 先看它服务的专业判断是不是「基础判断」:把 AI 想法拆成数据、目标、指标和上线风险。
  • 先确认问题类型:是要预测类别、预测数值、发现群组,还是决定优先级。
  • 样本粒度一致,例如一次会话、一个用户、一个工单不能混着训练。
2. 引入边界:同时满足这些条件,才值得推进

只有当它能把问题从“凭感觉讨论”推进到“可设计、可评测、可复盘”时,才说明这个知识点真正进入了业务方案。

  • 当「监督学习」能改变投影设备体验、Android App 性能、用户反馈、日志归因、客服排障里的设计、评测或风险控制动作时,才值得进入方案。
  • 监督学习适合历史上有标准答案的审批、分类、预测和评分任务。
  • 无监督学习适合没有标签时做探索、分群、异常发现和问题归并。
3. 反向边界:这些情况先停下来

专业判断的价值,不只是知道什么时候用,更是知道什么时候不用。下面这些情况出现时,要先补数据、补流程、补权限或补评测,而不是继续堆 AI 能力。

  • 没有可靠标签时,监督学习会变成错误答案放大器。
  • 如果问题类型经常新增,模型要配合人工复核和持续再训练。
  • 标签缺失或标签口径混乱时,不要急着上监督学习。
  • 聚类结果不能直接当业务真相,必须由人解释和命名。
  • 选错任务类型会让指标漂亮但动作错误,例如把排序问题做成分类问题。
4. 上线前判断:能回答这些问题再落地
  • 能说出每个输出对应的下一步业务动作。
  • 能解释误报、漏报、排序错、分群错分别造成什么损失。
  • 现场追问:如果明天要把它放进真实 App 流程,你能不能说清数据从哪里来、结果谁验收、错了谁兜底?
架构师总结:监督学习的关键不是算法名,而是有没有可信的历史答案。 对架构师来说,监督学习 不是一个要背的名词,而是一把判断尺:先看前提是否成立,再看收益是否大于复杂度,最后看失败时有没有证据、兜底和责任人。
通用例子:先脱离技术看懂它

用历史贷款申请和最终是否违约训练风险模型,就是监督学习。

这个例子要看见的重点:把 AI 想法拆成数据、目标、指标和上线风险。 所以例子不是为了记故事,而是为了训练你在新场景里做同类判断。

投影 / Android 实战推演
  • 业务推演:投影 Android 场景里,用历史崩溃堆栈、设备信息、用户路径作为输入,用已确认的故障类别作为标签,可以训练“问题自动归类”模型,帮助研发和客服更快定位。
  • 你要补的证据:围绕「基础判断」列出数据、文档、日志、用户反馈或人工标注,避免只凭感觉判断。
  • 可交付物:沉淀 场景判断表、数据字段表、评测指标和灰度上线规则。,让同事能照着复用,而不是只听你口头解释。
  • 验收指标:至少选一个质量指标、一个效率指标、一个风险指标;比如正确率/一次解决率、定位耗时/追问轮次、误导用户率/转人工率。
  • 迁移能力:同一套思路也能迁移到客服、测试、研发效率、运营分析和产品决策,不局限于投影业务。
老师会这样检查你是否真会了
  • 你能不能用一句人话解释「监督学习」,并说出它解决的是「基础判断」里的什么问题?
  • 你能不能举一个适用场景和一个不适用场景,并说明边界来自数据、流程、风险还是权限?
  • 你能不能把它落到一个真实小任务:输入是什么、输出是什么、验收指标是什么、失败时谁兜底?
  • 老师追问:如果明天要把它放进真实 App 流程,你能不能说清数据从哪里来、结果谁验收、错了谁兜底?
  • 练习产物:找一个你们已有结果的流程,画出输入字段、标签字段、训练样本、测试样本,并说明模型上线后预测错了怎么处理。
精通标准:监督学习的关键不是算法名,而是有没有可信的历史答案。 能精通的人,不是能背定义,而是能把它迁移到一个新业务里,写出判断表、数据要求、风险边界和落地动作。
业务判断方法

问历史数据里是否有可复用答案;没有答案就先补标签或改成探索分析。

2. 无监督学习

知识点讲解没有标准答案,目标是发现结构、相似群体或异常模式。

老师板书 无监督学习 基础判断

无监督学习适合找线索,不适合直接替业务下最终结论。

先用人话讲明白

无监督学习没有标准答案,它用来发现结构、相似性、异常和分群。它不是直接告诉你“正确答案”,而是帮你看见数据里的形状。

类比像把一堆杂物先按相似性分堆,再由人给每堆命名。

为什么要学把 AI 想法拆成数据、目标、指标和上线风险。

把关键词拆开看
  • 分群:把相似对象聚在一起,帮助理解人群或问题类型。
  • 异常:找出和大多数样本明显不同的记录。
  • 探索:适合早期没有标签、但想找规律的阶段。

入门版理解:没有标准答案,目标是发现结构、相似群体或异常模式。

适用范围和边界
1. 优先原则:先满足前提,再谈使用

在实际工程里,任何概念都不能脱离场景硬套。学习「无监督学习」时,第一步不是问“它高级不高级”,而是问它是否真的能帮助你完成一个更清晰、更可验证的业务判断。

  • 先看它服务的专业判断是不是「基础判断」:把 AI 想法拆成数据、目标、指标和上线风险。
  • 先确认问题类型:是要预测类别、预测数值、发现群组,还是决定优先级。
  • 样本粒度一致,例如一次会话、一个用户、一个工单不能混着训练。
2. 引入边界:同时满足这些条件,才值得推进

只有当它能把问题从“凭感觉讨论”推进到“可设计、可评测、可复盘”时,才说明这个知识点真正进入了业务方案。

  • 当「无监督学习」能改变投影设备体验、Android App 性能、用户反馈、日志归因、客服排障里的设计、评测或风险控制动作时,才值得进入方案。
  • 监督学习适合历史上有标准答案的审批、分类、预测和评分任务。
  • 无监督学习适合没有标签时做探索、分群、异常发现和问题归并。
3. 反向边界:这些情况先停下来

专业判断的价值,不只是知道什么时候用,更是知道什么时候不用。下面这些情况出现时,要先补数据、补流程、补权限或补评测,而不是继续堆 AI 能力。

  • 聚出来的类别不等于业务真相,需要人工解释和验证。
  • 无监督结果不能直接当处罚、拒绝、扣费依据。
  • 标签缺失或标签口径混乱时,不要急着上监督学习。
  • 聚类结果不能直接当业务真相,必须由人解释和命名。
  • 选错任务类型会让指标漂亮但动作错误,例如把排序问题做成分类问题。
4. 上线前判断:能回答这些问题再落地
  • 能说出每个输出对应的下一步业务动作。
  • 能解释误报、漏报、排序错、分群错分别造成什么损失。
  • 现场追问:如果明天要把它放进真实 App 流程,你能不能说清数据从哪里来、结果谁验收、错了谁兜底?
架构师总结:无监督学习适合找线索,不适合直接替业务下最终结论。 对架构师来说,无监督学习 不是一个要背的名词,而是一把判断尺:先看前提是否成立,再看收益是否大于复杂度,最后看失败时有没有证据、兜底和责任人。
通用例子:先脱离技术看懂它

把用户按行为自动分成高活跃、价格敏感、沉默流失等群体,就是无监督分析的典型用法。

这个例子要看见的重点:把 AI 想法拆成数据、目标、指标和上线风险。 所以例子不是为了记故事,而是为了训练你在新场景里做同类判断。

投影 / Android 实战推演
  • 业务推演:投影 Android 业务里,可以把大量用户日志或反馈文本聚类,发现“某版本升级后集中出现蓝牙遥控器失焦”“某地区网络播放卡顿”这类此前没人命名的问题簇。
  • 你要补的证据:围绕「基础判断」列出数据、文档、日志、用户反馈或人工标注,避免只凭感觉判断。
  • 可交付物:沉淀 场景判断表、数据字段表、评测指标和灰度上线规则。,让同事能照着复用,而不是只听你口头解释。
  • 验收指标:至少选一个质量指标、一个效率指标、一个风险指标;比如正确率/一次解决率、定位耗时/追问轮次、误导用户率/转人工率。
  • 迁移能力:同一套思路也能迁移到客服、测试、研发效率、运营分析和产品决策,不局限于投影业务。
老师会这样检查你是否真会了
  • 你能不能用一句人话解释「无监督学习」,并说出它解决的是「基础判断」里的什么问题?
  • 你能不能举一个适用场景和一个不适用场景,并说明边界来自数据、流程、风险还是权限?
  • 你能不能把它落到一个真实小任务:输入是什么、输出是什么、验收指标是什么、失败时谁兜底?
  • 老师追问:如果明天要把它放进真实 App 流程,你能不能说清数据从哪里来、结果谁验收、错了谁兜底?
  • 练习产物:拿一批用户反馈做人工归类前,先想象可能会聚出哪些簇,再用实际结果对比,看看哪些新问题被发现。
精通标准:无监督学习适合找线索,不适合直接替业务下最终结论。 能精通的人,不是能背定义,而是能把它迁移到一个新业务里,写出判断表、数据要求、风险边界和落地动作。
业务判断方法

确认业务是否接受“辅助发现”,并定义后续如何验证收益。

3. 分类

知识点讲解预测有限类别,比如是否流失、是否违规、属于哪种工单。

老师板书 分类 基础判断

分类做得好,团队处理问题的入口会变清晰。

先用人话讲明白

分类是把对象放进离散类别里,例如是/否、A/B/C、风险高/中/低。它回答的是“属于哪一类”,不是“数值是多少”。

类比像分诊台,先判断这个问题该去哪个科室。

为什么要学把 AI 想法拆成数据、目标、指标和上线风险。

把关键词拆开看
  • 类别定义:每一类的边界要清楚,最好互斥。
  • 混淆成本:不同错法成本不同,例如误报和漏报不能混为一谈。
  • 阈值:模型常输出概率,业务要决定达到多少分才触发动作。

入门版理解:预测有限类别,比如是否流失、是否违规、属于哪种工单。

适用范围和边界
1. 优先原则:先满足前提,再谈使用

在实际工程里,任何概念都不能脱离场景硬套。学习「分类」时,第一步不是问“它高级不高级”,而是问它是否真的能帮助你完成一个更清晰、更可验证的业务判断。

  • 先看它服务的专业判断是不是「基础判断」:把 AI 想法拆成数据、目标、指标和上线风险。
  • 先确认问题类型:是要预测类别、预测数值、发现群组,还是决定优先级。
  • 样本粒度一致,例如一次会话、一个用户、一个工单不能混着训练。
2. 引入边界:同时满足这些条件,才值得推进

只有当它能把问题从“凭感觉讨论”推进到“可设计、可评测、可复盘”时,才说明这个知识点真正进入了业务方案。

  • 当「分类」能改变投影设备体验、Android App 性能、用户反馈、日志归因、客服排障里的设计、评测或风险控制动作时,才值得进入方案。
  • 监督学习适合历史上有标准答案的审批、分类、预测和评分任务。
  • 无监督学习适合没有标签时做探索、分群、异常发现和问题归并。
3. 反向边界:这些情况先停下来

专业判断的价值,不只是知道什么时候用,更是知道什么时候不用。下面这些情况出现时,要先补数据、补流程、补权限或补评测,而不是继续堆 AI 能力。

  • 类别太多且样本少时,模型会学不稳。
  • 类别之间重叠严重时,要允许多标签或先做人工仲裁。
  • 标签缺失或标签口径混乱时,不要急着上监督学习。
  • 聚类结果不能直接当业务真相,必须由人解释和命名。
  • 选错任务类型会让指标漂亮但动作错误,例如把排序问题做成分类问题。
4. 上线前判断:能回答这些问题再落地
  • 能说出每个输出对应的下一步业务动作。
  • 能解释误报、漏报、排序错、分群错分别造成什么损失。
  • 现场追问:如果明天要把它放进真实 App 流程,你能不能说清数据从哪里来、结果谁验收、错了谁兜底?
架构师总结:分类做得好,团队处理问题的入口会变清晰。 对架构师来说,分类 不是一个要背的名词,而是一把判断尺:先看前提是否成立,再看收益是否大于复杂度,最后看失败时有没有证据、兜底和责任人。
通用例子:先脱离技术看懂它

把邮件分为垃圾邮件和正常邮件,或者把评论分为违规和正常,就是分类。

这个例子要看见的重点:把 AI 想法拆成数据、目标、指标和上线风险。 所以例子不是为了记故事,而是为了训练你在新场景里做同类判断。

投影 / Android 实战推演
  • 业务推演:投影 Android 应用里,可以把客服反馈分为“投屏连接 / 播放 / 遥控器焦点 / 账号 / 设备兼容”;分类结果用于自动分派给对应研发、测试或客服组。
  • 你要补的证据:围绕「基础判断」列出数据、文档、日志、用户反馈或人工标注,避免只凭感觉判断。
  • 可交付物:沉淀 场景判断表、数据字段表、评测指标和灰度上线规则。,让同事能照着复用,而不是只听你口头解释。
  • 验收指标:至少选一个质量指标、一个效率指标、一个风险指标;比如正确率/一次解决率、定位耗时/追问轮次、误导用户率/转人工率。
  • 迁移能力:同一套思路也能迁移到客服、测试、研发效率、运营分析和产品决策,不局限于投影业务。
老师会这样检查你是否真会了
  • 你能不能用一句人话解释「分类」,并说出它解决的是「基础判断」里的什么问题?
  • 你能不能举一个适用场景和一个不适用场景,并说明边界来自数据、流程、风险还是权限?
  • 你能不能把它落到一个真实小任务:输入是什么、输出是什么、验收指标是什么、失败时谁兜底?
  • 老师追问:如果明天要把它放进真实 App 流程,你能不能说清数据从哪里来、结果谁验收、错了谁兜底?
  • 练习产物:给你们常见用户问题设计 6 个以内的一级类别,并为每类写 3 条正例和 2 条容易混淆的反例。
精通标准:分类做得好,团队处理问题的入口会变清晰。 能精通的人,不是能背定义,而是能把它迁移到一个新业务里,写出判断表、数据要求、风险边界和落地动作。
业务判断方法

确认类别边界是否清晰、每类样本是否足够、错分成本是否可接受。

4. 回归

知识点讲解预测连续数值,比如销量、金额、时长和等待时间。

老师板书 回归 基础判断

回归不是追求完美数字,而是让业务提前知道大概会发生什么。

先用人话讲明白

回归是预测连续数值,比如时长、金额、概率、温度、评分。它回答的是“多少”,而不是“哪一类”。

类比像估算时间或价格,重点是误差能不能被业务接受。

为什么要学把 AI 想法拆成数据、目标、指标和上线风险。

把关键词拆开看
  • 连续目标:输出可以排序和比较大小。
  • 误差大小:预测差 1 秒和差 10 分钟的业务影响不同。
  • 极端值:少量异常大值可能明显影响模型和指标。

入门版理解:预测连续数值,比如销量、金额、时长和等待时间。

适用范围和边界
1. 优先原则:先满足前提,再谈使用

在实际工程里,任何概念都不能脱离场景硬套。学习「回归」时,第一步不是问“它高级不高级”,而是问它是否真的能帮助你完成一个更清晰、更可验证的业务判断。

  • 先看它服务的专业判断是不是「基础判断」:把 AI 想法拆成数据、目标、指标和上线风险。
  • 先确认问题类型:是要预测类别、预测数值、发现群组,还是决定优先级。
  • 样本粒度一致,例如一次会话、一个用户、一个工单不能混着训练。
2. 引入边界:同时满足这些条件,才值得推进

只有当它能把问题从“凭感觉讨论”推进到“可设计、可评测、可复盘”时,才说明这个知识点真正进入了业务方案。

  • 当「回归」能改变投影设备体验、Android App 性能、用户反馈、日志归因、客服排障里的设计、评测或风险控制动作时,才值得进入方案。
  • 监督学习适合历史上有标准答案的审批、分类、预测和评分任务。
  • 无监督学习适合没有标签时做探索、分群、异常发现和问题归并。
3. 反向边界:这些情况先停下来

专业判断的价值,不只是知道什么时候用,更是知道什么时候不用。下面这些情况出现时,要先补数据、补流程、补权限或补评测,而不是继续堆 AI 能力。

  • 数值预测要关注大错场景,平均误差低不代表用户体验好。
  • 如果输出本质是等级判断,不一定要硬做回归,可以改成分类。
  • 标签缺失或标签口径混乱时,不要急着上监督学习。
  • 聚类结果不能直接当业务真相,必须由人解释和命名。
  • 选错任务类型会让指标漂亮但动作错误,例如把排序问题做成分类问题。
4. 上线前判断:能回答这些问题再落地
  • 能说出每个输出对应的下一步业务动作。
  • 能解释误报、漏报、排序错、分群错分别造成什么损失。
  • 现场追问:如果明天要把它放进真实 App 流程,你能不能说清数据从哪里来、结果谁验收、错了谁兜底?
架构师总结:回归不是追求完美数字,而是让业务提前知道大概会发生什么。 对架构师来说,回归 不是一个要背的名词,而是一把判断尺:先看前提是否成立,再看收益是否大于复杂度,最后看失败时有没有证据、兜底和责任人。
通用例子:先脱离技术看懂它

预测订单配送时长、未来一周销售额、页面加载耗时,都是回归问题。

这个例子要看见的重点:把 AI 想法拆成数据、目标、指标和上线风险。 所以例子不是为了记故事,而是为了训练你在新场景里做同类判断。

投影 / Android 实战推演
  • 业务推演:投影 Android 业务里,可以预测某次启动耗时、视频首帧时间、投屏连接预计耗时,帮助判断是否需要提前展示加载提示或推荐用户切换网络。
  • 你要补的证据:围绕「基础判断」列出数据、文档、日志、用户反馈或人工标注,避免只凭感觉判断。
  • 可交付物:沉淀 场景判断表、数据字段表、评测指标和灰度上线规则。,让同事能照着复用,而不是只听你口头解释。
  • 验收指标:至少选一个质量指标、一个效率指标、一个风险指标;比如正确率/一次解决率、定位耗时/追问轮次、误导用户率/转人工率。
  • 迁移能力:同一套思路也能迁移到客服、测试、研发效率、运营分析和产品决策,不局限于投影业务。
老师会这样检查你是否真会了
  • 你能不能用一句人话解释「回归」,并说出它解决的是「基础判断」里的什么问题?
  • 你能不能举一个适用场景和一个不适用场景,并说明边界来自数据、流程、风险还是权限?
  • 你能不能把它落到一个真实小任务:输入是什么、输出是什么、验收指标是什么、失败时谁兜底?
  • 老师追问:如果明天要把它放进真实 App 流程,你能不能说清数据从哪里来、结果谁验收、错了谁兜底?
  • 练习产物:选一个性能指标,写出模型预测值、真实值、可接受误差范围,以及超过范围后产品要怎么处理。
精通标准:回归不是追求完美数字,而是让业务提前知道大概会发生什么。 能精通的人,不是能背定义,而是能把它迁移到一个新业务里,写出判断表、数据要求、风险边界和落地动作。
业务判断方法

先定义可接受误差范围,误差大小要能对应业务影响。

5. 聚类与排序

知识点讲解聚类找相似对象,排序按价值或相关性排列。

老师板书 聚类与排序 基础判断

聚类帮你看见问题,排序帮你决定先解决哪个。

先用人话讲明白

聚类是把相似对象归在一起,排序是决定谁先被看见、先处理、先推荐。二者常一起用:先发现问题群,再按价值或风险排序。

类比可以把它理解成把业务经验翻译成一张可训练、可验证的作业纸。

为什么要学把 AI 想法拆成数据、目标、指标和上线风险。

把关键词拆开看
  • 相似度:要定义什么叫相似,是文本语义、行为路径还是设备状态。
  • 优先级:排序必须服务资源分配,比如先处理影响最大的故障。
  • 可解释性:聚类结果要能被业务命名,排序原因要能解释。

入门版理解:聚类找相似对象,排序按价值或相关性排列。

适用范围和边界
1. 优先原则:先满足前提,再谈使用

在实际工程里,任何概念都不能脱离场景硬套。学习「聚类与排序」时,第一步不是问“它高级不高级”,而是问它是否真的能帮助你完成一个更清晰、更可验证的业务判断。

  • 先看它服务的专业判断是不是「基础判断」:把 AI 想法拆成数据、目标、指标和上线风险。
  • 先确认问题类型:是要预测类别、预测数值、发现群组,还是决定优先级。
  • 样本粒度一致,例如一次会话、一个用户、一个工单不能混着训练。
2. 引入边界:同时满足这些条件,才值得推进

只有当它能把问题从“凭感觉讨论”推进到“可设计、可评测、可复盘”时,才说明这个知识点真正进入了业务方案。

  • 当「聚类与排序」能改变投影设备体验、Android App 性能、用户反馈、日志归因、客服排障里的设计、评测或风险控制动作时,才值得进入方案。
  • 监督学习适合历史上有标准答案的审批、分类、预测和评分任务。
  • 无监督学习适合没有标签时做探索、分群、异常发现和问题归并。
3. 反向边界:这些情况先停下来

专业判断的价值,不只是知道什么时候用,更是知道什么时候不用。下面这些情况出现时,要先补数据、补流程、补权限或补评测,而不是继续堆 AI 能力。

  • 只按数量排序可能忽略高价值用户或严重风险问题。
  • 聚类太细会碎片化,太粗会掩盖关键差异。
  • 标签缺失或标签口径混乱时,不要急着上监督学习。
  • 聚类结果不能直接当业务真相,必须由人解释和命名。
  • 选错任务类型会让指标漂亮但动作错误,例如把排序问题做成分类问题。
4. 上线前判断:能回答这些问题再落地
  • 能说出每个输出对应的下一步业务动作。
  • 能解释误报、漏报、排序错、分群错分别造成什么损失。
  • 现场追问:如果明天要把它放进真实 App 流程,你能不能说清数据从哪里来、结果谁验收、错了谁兜底?
架构师总结:聚类帮你看见问题,排序帮你决定先解决哪个。 对架构师来说,聚类与排序 不是一个要背的名词,而是一把判断尺:先看前提是否成立,再看收益是否大于复杂度,最后看失败时有没有证据、兜底和责任人。
通用例子:先脱离技术看懂它

电商把相似商品聚类,再按点击率和转化率排序展示,就是聚类与排序结合。

这个例子要看见的重点:把 AI 想法拆成数据、目标、指标和上线风险。 所以例子不是为了记故事,而是为了训练你在新场景里做同类判断。

投影 / Android 实战推演
  • 业务推演:投影 Android 场景里,把崩溃日志按堆栈和机型聚成问题簇,再按影响用户数、复现率、版本范围排序,帮助研发排 Bug 优先级。
  • 你要补的证据:围绕「基础判断」列出数据、文档、日志、用户反馈或人工标注,避免只凭感觉判断。
  • 可交付物:沉淀 场景判断表、数据字段表、评测指标和灰度上线规则。,让同事能照着复用,而不是只听你口头解释。
  • 验收指标:至少选一个质量指标、一个效率指标、一个风险指标;比如正确率/一次解决率、定位耗时/追问轮次、误导用户率/转人工率。
  • 迁移能力:同一套思路也能迁移到客服、测试、研发效率、运营分析和产品决策,不局限于投影业务。
老师会这样检查你是否真会了
  • 你能不能用一句人话解释「聚类与排序」,并说出它解决的是「基础判断」里的什么问题?
  • 你能不能举一个适用场景和一个不适用场景,并说明边界来自数据、流程、风险还是权限?
  • 你能不能把它落到一个真实小任务:输入是什么、输出是什么、验收指标是什么、失败时谁兜底?
  • 老师追问:如果明天要把它放进真实 App 流程,你能不能说清数据从哪里来、结果谁验收、错了谁兜底?
  • 练习产物:把最近 20 个问题按“影响人数、严重程度、是否有临时方案”打分排序,并解释前三个为什么该先做。
精通标准:聚类帮你看见问题,排序帮你决定先解决哪个。 能精通的人,不是能背定义,而是能把它迁移到一个新业务里,写出判断表、数据要求、风险边界和落地动作。
业务判断方法

聚类要问“谁会用分群”,排序要问“排前带来什么收益”。

学习产出

一页《团队 AI 场景筛选标准》

10 分钟练习

写下 3 个 AI 想法,每个改成“根据 X,预测 Y”。Y 写不出来就标记为目标不清。

老师怎么判断你学会了

提交作业交 3 个 AI 想法的问题类型表,包含 X、Y、类型和验收方式。

  • 合格能正确区分分类、回归、聚类、排序,并写出每个任务的 Y。
  • 优秀能指出目标不清、标签不足或暂不适合建模的想法,并给出改法。
  • 没通过只按技术名词分类,但说不清模型最终要预测什么。
03 1-2 天

理解数据与特征:模型学的是数据里的信号

本步 6 个知识点
学习目标

能审核数据是否支持 AI 项目,识别字段风险和数据泄漏。

先记这一句话

模型只能学习它看得见、拿得到、口径稳定的数据。

知识点清单与业务判断 先会用,再理解

1. 样本

知识点讲解样本是一条可学习的历史记录,要有明确粒度和时间点。

老师板书 样本 基础判断

样本定义错了,后面所有训练和评测都会跟着歪。

先用人话讲明白

样本是一条可学习记录,包含当时能看到的输入和后续发生的结果。样本不是越多越好,关键是能代表未来真实场景。

类比可以把它理解成把业务经验翻译成一张可训练、可验证的作业纸。

为什么要学把 AI 想法拆成数据、目标、指标和上线风险。

把关键词拆开看
  • 样本粒度:一条样本代表一次点击、一次会话、一个用户还是一个工单。
  • 代表性:样本分布要接近未来上线后遇到的对象。
  • 独立性:重复采集同一问题可能让模型误以为它更重要。

入门版理解:样本是一条可学习的历史记录,要有明确粒度和时间点。

适用范围和边界
1. 优先原则:先满足前提,再谈使用

在实际工程里,任何概念都不能脱离场景硬套。学习「样本」时,第一步不是问“它高级不高级”,而是问它是否真的能帮助你完成一个更清晰、更可验证的业务判断。

  • 先看它服务的专业判断是不是「基础判断」:把 AI 想法拆成数据、目标、指标和上线风险。
  • 数据字段有明确来源、采集时间、单位、口径和负责人。
  • 训练时使用的字段在真实预测时也能拿到。
2. 引入边界:同时满足这些条件,才值得推进

只有当它能把问题从“凭感觉讨论”推进到“可设计、可评测、可复盘”时,才说明这个知识点真正进入了业务方案。

  • 当「样本」能改变投影设备体验、Android App 性能、用户反馈、日志归因、客服排障里的设计、评测或风险控制动作时,才值得进入方案。
  • 适合在建模前做字段盘点、日志治理、埋点补齐和样本抽样。
  • 适合把业务经验变成可观测信号,例如耗时、错误码、路径、版本和状态。
3. 反向边界:这些情况先停下来

专业判断的价值,不只是知道什么时候用,更是知道什么时候不用。下面这些情况出现时,要先补数据、补流程、补权限或补评测,而不是继续堆 AI 能力。

  • 样本只覆盖高端机型时,上线到低端设备可能失败。
  • 重复日志不去重,会让模型过度关注少数频繁上报的问题。
  • 不要把所有数据库字段直接喂给模型,尤其是身份、隐私和事后字段。
  • 不要把缺失值都当 0,缺失可能代表未采集、未发生或被过滤。
  • 数据泄漏会让离线指标虚高,上线后迅速崩掉。
4. 上线前判断:能回答这些问题再落地
  • 每个字段都能回答:从哪里来、何时产生、上线能否拿到、是否敏感。
  • 每个样本都能确认粒度一致,且没有把同一事件重复统计。
  • 现场追问:如果明天要把它放进真实 App 流程,你能不能说清数据从哪里来、结果谁验收、错了谁兜底?
架构师总结:样本定义错了,后面所有训练和评测都会跟着歪。 对架构师来说,样本 不是一个要背的名词,而是一把判断尺:先看前提是否成立,再看收益是否大于复杂度,最后看失败时有没有证据、兜底和责任人。
通用例子:先脱离技术看懂它

用过去三个月真实客服工单做样本,比只用研发自己编的 20 条样例更可靠。

这个例子要看见的重点:把 AI 想法拆成数据、目标、指标和上线风险。 所以例子不是为了记故事,而是为了训练你在新场景里做同类判断。

投影 / Android 实战推演
  • 业务推演:投影 Android 应用里,一条样本可以是一段投屏连接会话:机型、App 版本、网络、操作步骤、是否成功、失败错误码。要避免只采集测试机数据,因为测试机不代表真实用户环境。
  • 你要补的证据:围绕「基础判断」列出数据、文档、日志、用户反馈或人工标注,避免只凭感觉判断。
  • 可交付物:沉淀 场景判断表、数据字段表、评测指标和灰度上线规则。,让同事能照着复用,而不是只听你口头解释。
  • 验收指标:至少选一个质量指标、一个效率指标、一个风险指标;比如正确率/一次解决率、定位耗时/追问轮次、误导用户率/转人工率。
  • 迁移能力:同一套思路也能迁移到客服、测试、研发效率、运营分析和产品决策,不局限于投影业务。
老师会这样检查你是否真会了
  • 你能不能用一句人话解释「样本」,并说出它解决的是「基础判断」里的什么问题?
  • 你能不能举一个适用场景和一个不适用场景,并说明边界来自数据、流程、风险还是权限?
  • 你能不能把它落到一个真实小任务:输入是什么、输出是什么、验收指标是什么、失败时谁兜底?
  • 老师追问:如果明天要把它放进真实 App 流程,你能不能说清数据从哪里来、结果谁验收、错了谁兜底?
  • 练习产物:定义你要建模的“一条样本”是什么,并列出至少 5 个字段和 1 个最终结果字段。
精通标准:样本定义错了,后面所有训练和评测都会跟着歪。 能精通的人,不是能背定义,而是能把它迁移到一个新业务里,写出判断表、数据要求、风险边界和落地动作。
业务判断方法

先定义一行数据代表什么,粒度混乱会让指标失真。

2. 特征 Feature

知识点讲解特征是模型预测时能看到的信息,不是业务愿望。

老师板书 特征 Feature 基础判断

特征是业务知识进入模型的入口。

先用人话讲明白

特征是模型用来判断的线索,是把原始业务信息转成模型能使用的字段。好特征往往来自业务理解,而不是把数据库字段全部丢进去。

类比可以把它理解成把业务经验翻译成一张可训练、可验证的作业纸。

为什么要学把 AI 想法拆成数据、目标、指标和上线风险。

把关键词拆开看
  • 信号:特征要和目标有可能相关。
  • 可获得:上线预测时必须能实时或准实时拿到。
  • 稳定:特征含义不能频繁变,字段口径要一致。

入门版理解:特征是模型预测时能看到的信息,不是业务愿望。

适用范围和边界
1. 优先原则:先满足前提,再谈使用

在实际工程里,任何概念都不能脱离场景硬套。学习「特征 Feature」时,第一步不是问“它高级不高级”,而是问它是否真的能帮助你完成一个更清晰、更可验证的业务判断。

  • 先看它服务的专业判断是不是「基础判断」:把 AI 想法拆成数据、目标、指标和上线风险。
  • 数据字段有明确来源、采集时间、单位、口径和负责人。
  • 训练时使用的字段在真实预测时也能拿到。
2. 引入边界:同时满足这些条件,才值得推进

只有当它能把问题从“凭感觉讨论”推进到“可设计、可评测、可复盘”时,才说明这个知识点真正进入了业务方案。

  • 当「特征 Feature」能改变投影设备体验、Android App 性能、用户反馈、日志归因、客服排障里的设计、评测或风险控制动作时,才值得进入方案。
  • 适合在建模前做字段盘点、日志治理、埋点补齐和样本抽样。
  • 适合把业务经验变成可观测信号,例如耗时、错误码、路径、版本和状态。
3. 反向边界:这些情况先停下来

专业判断的价值,不只是知道什么时候用,更是知道什么时候不用。下面这些情况出现时,要先补数据、补流程、补权限或补评测,而不是继续堆 AI 能力。

  • 包含用户隐私或敏感字段时,要先做合规评估和脱敏。
  • 看似相关但上线拿不到的字段,不能作为特征。
  • 不要把所有数据库字段直接喂给模型,尤其是身份、隐私和事后字段。
  • 不要把缺失值都当 0,缺失可能代表未采集、未发生或被过滤。
  • 数据泄漏会让离线指标虚高,上线后迅速崩掉。
4. 上线前判断:能回答这些问题再落地
  • 每个字段都能回答:从哪里来、何时产生、上线能否拿到、是否敏感。
  • 每个样本都能确认粒度一致,且没有把同一事件重复统计。
  • 现场追问:如果明天要把它放进真实 App 流程,你能不能说清数据从哪里来、结果谁验收、错了谁兜底?
架构师总结:特征是业务知识进入模型的入口。 对架构师来说,特征 Feature 不是一个要背的名词,而是一把判断尺:先看前提是否成立,再看收益是否大于复杂度,最后看失败时有没有证据、兜底和责任人。
通用例子:先脱离技术看懂它

预测用户流失时,最近 7 天打开次数、上次使用距今天数、是否遇到失败操作,都可能是特征。

这个例子要看见的重点:把 AI 想法拆成数据、目标、指标和上线风险。 所以例子不是为了记故事,而是为了训练你在新场景里做同类判断。

投影 / Android 实战推演
  • 业务推演:投影 Android 场景里,设备型号、系统版本、固件版本、投屏协议、Wi-Fi 频段、首帧耗时、最近崩溃次数,都是排查体验问题的有效特征。
  • 你要补的证据:围绕「基础判断」列出数据、文档、日志、用户反馈或人工标注,避免只凭感觉判断。
  • 可交付物:沉淀 场景判断表、数据字段表、评测指标和灰度上线规则。,让同事能照着复用,而不是只听你口头解释。
  • 验收指标:至少选一个质量指标、一个效率指标、一个风险指标;比如正确率/一次解决率、定位耗时/追问轮次、误导用户率/转人工率。
  • 迁移能力:同一套思路也能迁移到客服、测试、研发效率、运营分析和产品决策,不局限于投影业务。
老师会这样检查你是否真会了
  • 你能不能用一句人话解释「特征 Feature」,并说出它解决的是「基础判断」里的什么问题?
  • 你能不能举一个适用场景和一个不适用场景,并说明边界来自数据、流程、风险还是权限?
  • 你能不能把它落到一个真实小任务:输入是什么、输出是什么、验收指标是什么、失败时谁兜底?
  • 老师追问:如果明天要把它放进真实 App 流程,你能不能说清数据从哪里来、结果谁验收、错了谁兜底?
  • 练习产物:为“预测投屏连接失败”设计 10 个特征,并标注每个特征从哪里来、什么时候能拿到、是否涉及隐私。
精通标准:特征是业务知识进入模型的入口。 能精通的人,不是能背定义,而是能把它迁移到一个新业务里,写出判断表、数据要求、风险边界和落地动作。
业务判断方法

逐个字段问:上线时拿得到吗?含义稳定吗?更新频率够吗?

3. 数值特征

知识点讲解金额、次数、时长、比例等数字要关注量纲、极端值和缺失值。

老师板书 数值特征 基础判断

数值特征要先把单位和范围讲清楚,模型才知道它代表什么。

先用人话讲明白

数值特征是可以计算大小和差距的字段,例如耗时、次数、比例、温度、内存占用。它能表达强弱、多少和变化趋势。

类比可以把它理解成把业务经验翻译成一张可训练、可验证的作业纸。

为什么要学把 AI 想法拆成数据、目标、指标和上线风险。

把关键词拆开看
  • 尺度:毫秒、秒、分钟不能混用。
  • 分布:少量极端值会影响模型,需要截断或转换。
  • 缺失:没有记录不一定等于 0,要区分未知和真实为 0。

入门版理解:金额、次数、时长、比例等数字要关注量纲、极端值和缺失值。

适用范围和边界
1. 优先原则:先满足前提,再谈使用

在实际工程里,任何概念都不能脱离场景硬套。学习「数值特征」时,第一步不是问“它高级不高级”,而是问它是否真的能帮助你完成一个更清晰、更可验证的业务判断。

  • 先看它服务的专业判断是不是「基础判断」:把 AI 想法拆成数据、目标、指标和上线风险。
  • 数据字段有明确来源、采集时间、单位、口径和负责人。
  • 训练时使用的字段在真实预测时也能拿到。
2. 引入边界:同时满足这些条件,才值得推进

只有当它能把问题从“凭感觉讨论”推进到“可设计、可评测、可复盘”时,才说明这个知识点真正进入了业务方案。

  • 当「数值特征」能改变投影设备体验、Android App 性能、用户反馈、日志归因、客服排障里的设计、评测或风险控制动作时,才值得进入方案。
  • 适合在建模前做字段盘点、日志治理、埋点补齐和样本抽样。
  • 适合把业务经验变成可观测信号,例如耗时、错误码、路径、版本和状态。
3. 反向边界:这些情况先停下来

专业判断的价值,不只是知道什么时候用,更是知道什么时候不用。下面这些情况出现时,要先补数据、补流程、补权限或补评测,而不是继续堆 AI 能力。

  • 不同机型性能差异大,数值要结合设备档位看。
  • 采样频率变化会改变数值含义,不能直接比较。
  • 不要把所有数据库字段直接喂给模型,尤其是身份、隐私和事后字段。
  • 不要把缺失值都当 0,缺失可能代表未采集、未发生或被过滤。
  • 数据泄漏会让离线指标虚高,上线后迅速崩掉。
4. 上线前判断:能回答这些问题再落地
  • 每个字段都能回答:从哪里来、何时产生、上线能否拿到、是否敏感。
  • 每个样本都能确认粒度一致,且没有把同一事件重复统计。
  • 现场追问:如果明天要把它放进真实 App 流程,你能不能说清数据从哪里来、结果谁验收、错了谁兜底?
架构师总结:数值特征要先把单位和范围讲清楚,模型才知道它代表什么。 对架构师来说,数值特征 不是一个要背的名词,而是一把判断尺:先看前提是否成立,再看收益是否大于复杂度,最后看失败时有没有证据、兜底和责任人。
通用例子:先脱离技术看懂它

页面加载 800ms 和 8000ms 都是数值,但业务含义完全不同;模型需要看到这种差距。

这个例子要看见的重点:把 AI 想法拆成数据、目标、指标和上线风险。 所以例子不是为了记故事,而是为了训练你在新场景里做同类判断。

投影 / Android 实战推演
  • 业务推演:投影 Android 应用里,启动耗时、首帧时间、丢帧率、内存峰值、连接重试次数、日志上报间隔都是数值特征。它们常用于预测卡顿、崩溃或失败风险。
  • 你要补的证据:围绕「基础判断」列出数据、文档、日志、用户反馈或人工标注,避免只凭感觉判断。
  • 可交付物:沉淀 场景判断表、数据字段表、评测指标和灰度上线规则。,让同事能照着复用,而不是只听你口头解释。
  • 验收指标:至少选一个质量指标、一个效率指标、一个风险指标;比如正确率/一次解决率、定位耗时/追问轮次、误导用户率/转人工率。
  • 迁移能力:同一套思路也能迁移到客服、测试、研发效率、运营分析和产品决策,不局限于投影业务。
老师会这样检查你是否真会了
  • 你能不能用一句人话解释「数值特征」,并说出它解决的是「基础判断」里的什么问题?
  • 你能不能举一个适用场景和一个不适用场景,并说明边界来自数据、流程、风险还是权限?
  • 你能不能把它落到一个真实小任务:输入是什么、输出是什么、验收指标是什么、失败时谁兜底?
  • 老师追问:如果明天要把它放进真实 App 流程,你能不能说清数据从哪里来、结果谁验收、错了谁兜底?
  • 练习产物:选 5 个性能数值,写出正常范围、异常范围、单位和采集时机。
精通标准:数值特征要先把单位和范围讲清楚,模型才知道它代表什么。 能精通的人,不是能背定义,而是能把它迁移到一个新业务里,写出判断表、数据要求、风险边界和落地动作。
业务判断方法

异常数字要判断是真业务还是埋点错误。

4. 类别特征

知识点讲解地区、渠道、等级等离散值要关注枚举口径和低频类别。

老师板书 类别特征 基础判断

类别特征不是贴标签那么简单,它需要稳定的业务字典。

先用人话讲明白

类别特征是离散取值,例如机型、地区、版本、网络类型、入口来源。它表示“属于哪个类别”,不能直接当连续数字理解。

类比可以把它理解成把业务经验翻译成一张可训练、可验证的作业纸。

为什么要学把 AI 想法拆成数据、目标、指标和上线风险。

把关键词拆开看
  • 枚举值:类别集合要维护,新增类别要有处理策略。
  • 稀疏性:类别太多且每类样本少,会让模型难学。
  • 编码方式:编号 1、2、3 不代表大小关系,不能误导模型。

入门版理解:地区、渠道、等级等离散值要关注枚举口径和低频类别。

适用范围和边界
1. 优先原则:先满足前提,再谈使用

在实际工程里,任何概念都不能脱离场景硬套。学习「类别特征」时,第一步不是问“它高级不高级”,而是问它是否真的能帮助你完成一个更清晰、更可验证的业务判断。

  • 先看它服务的专业判断是不是「基础判断」:把 AI 想法拆成数据、目标、指标和上线风险。
  • 数据字段有明确来源、采集时间、单位、口径和负责人。
  • 训练时使用的字段在真实预测时也能拿到。
2. 引入边界:同时满足这些条件,才值得推进

只有当它能把问题从“凭感觉讨论”推进到“可设计、可评测、可复盘”时,才说明这个知识点真正进入了业务方案。

  • 当「类别特征」能改变投影设备体验、Android App 性能、用户反馈、日志归因、客服排障里的设计、评测或风险控制动作时,才值得进入方案。
  • 适合在建模前做字段盘点、日志治理、埋点补齐和样本抽样。
  • 适合把业务经验变成可观测信号,例如耗时、错误码、路径、版本和状态。
3. 反向边界:这些情况先停下来

专业判断的价值,不只是知道什么时候用,更是知道什么时候不用。下面这些情况出现时,要先补数据、补流程、补权限或补评测,而不是继续堆 AI 能力。

  • 类别命名不统一会制造脏数据,例如 AndroidTV、Android TV、ATV 被当成三类。
  • 高基数类别可能泄漏身份或造成过拟合。
  • 不要把所有数据库字段直接喂给模型,尤其是身份、隐私和事后字段。
  • 不要把缺失值都当 0,缺失可能代表未采集、未发生或被过滤。
  • 数据泄漏会让离线指标虚高,上线后迅速崩掉。
4. 上线前判断:能回答这些问题再落地
  • 每个字段都能回答:从哪里来、何时产生、上线能否拿到、是否敏感。
  • 每个样本都能确认粒度一致,且没有把同一事件重复统计。
  • 现场追问:如果明天要把它放进真实 App 流程,你能不能说清数据从哪里来、结果谁验收、错了谁兜底?
架构师总结:类别特征不是贴标签那么简单,它需要稳定的业务字典。 对架构师来说,类别特征 不是一个要背的名词,而是一把判断尺:先看前提是否成立,再看收益是否大于复杂度,最后看失败时有没有证据、兜底和责任人。
通用例子:先脱离技术看懂它

城市、会员等级、设备类型都是类别特征。把城市编号当成大小比较就是错误做法。

这个例子要看见的重点:把 AI 想法拆成数据、目标、指标和上线风险。 所以例子不是为了记故事,而是为了训练你在新场景里做同类判断。

投影 / Android 实战推演
  • 业务推演:投影 Android 场景里,设备型号、系统版本、投屏协议、网络类型、遥控器类型、入口页面都是类别特征。某些小众机型样本很少时,要合并成设备档位或系列。
  • 你要补的证据:围绕「基础判断」列出数据、文档、日志、用户反馈或人工标注,避免只凭感觉判断。
  • 可交付物:沉淀 场景判断表、数据字段表、评测指标和灰度上线规则。,让同事能照着复用,而不是只听你口头解释。
  • 验收指标:至少选一个质量指标、一个效率指标、一个风险指标;比如正确率/一次解决率、定位耗时/追问轮次、误导用户率/转人工率。
  • 迁移能力:同一套思路也能迁移到客服、测试、研发效率、运营分析和产品决策,不局限于投影业务。
老师会这样检查你是否真会了
  • 你能不能用一句人话解释「类别特征」,并说出它解决的是「基础判断」里的什么问题?
  • 你能不能举一个适用场景和一个不适用场景,并说明边界来自数据、流程、风险还是权限?
  • 你能不能把它落到一个真实小任务:输入是什么、输出是什么、验收指标是什么、失败时谁兜底?
  • 老师追问:如果明天要把它放进真实 App 流程,你能不能说清数据从哪里来、结果谁验收、错了谁兜底?
  • 练习产物:整理你们日志里的 5 个类别字段,检查是否有同义不同名、大小写不一致、未知值混用。
精通标准:类别特征不是贴标签那么简单,它需要稳定的业务字典。 能精通的人,不是能背定义,而是能把它迁移到一个新业务里,写出判断表、数据要求、风险边界和落地动作。
业务判断方法

看是否有统一字典、是否经常改名、是否大量“其他”。

5. 数据清洗

知识点讲解清洗处理缺失、重复、异常和口径不一致。

老师板书 数据清洗 基础判断

数据清洗是在训练前帮模型擦干净眼镜。

先用人话讲明白

数据清洗是把缺失、重复、异常、口径不一致的数据修正到可学习状态。它不是脏活,而是 AI 项目里最影响结果的基础工程。

类比可以把它理解成把业务经验翻译成一张可训练、可验证的作业纸。

为什么要学把 AI 想法拆成数据、目标、指标和上线风险。

把关键词拆开看
  • 缺失值:字段为空要知道是没采集、没发生还是被过滤。
  • 重复值:同一事件多次上报会放大影响。
  • 异常值:极端数据要判断是真实异常还是采集错误。

入门版理解:清洗处理缺失、重复、异常和口径不一致。

适用范围和边界
1. 优先原则:先满足前提,再谈使用

在实际工程里,任何概念都不能脱离场景硬套。学习「数据清洗」时,第一步不是问“它高级不高级”,而是问它是否真的能帮助你完成一个更清晰、更可验证的业务判断。

  • 先看它服务的专业判断是不是「基础判断」:把 AI 想法拆成数据、目标、指标和上线风险。
  • 数据字段有明确来源、采集时间、单位、口径和负责人。
  • 训练时使用的字段在真实预测时也能拿到。
2. 引入边界:同时满足这些条件,才值得推进

只有当它能把问题从“凭感觉讨论”推进到“可设计、可评测、可复盘”时,才说明这个知识点真正进入了业务方案。

  • 当「数据清洗」能改变投影设备体验、Android App 性能、用户反馈、日志归因、客服排障里的设计、评测或风险控制动作时,才值得进入方案。
  • 适合在建模前做字段盘点、日志治理、埋点补齐和样本抽样。
  • 适合把业务经验变成可观测信号,例如耗时、错误码、路径、版本和状态。
3. 反向边界:这些情况先停下来

专业判断的价值,不只是知道什么时候用,更是知道什么时候不用。下面这些情况出现时,要先补数据、补流程、补权限或补评测,而不是继续堆 AI 能力。

  • 不要为了指标好看删除真实难例。
  • 清洗规则要可追溯,否则以后无法解释模型为什么变好或变差。
  • 不要把所有数据库字段直接喂给模型,尤其是身份、隐私和事后字段。
  • 不要把缺失值都当 0,缺失可能代表未采集、未发生或被过滤。
  • 数据泄漏会让离线指标虚高,上线后迅速崩掉。
4. 上线前判断:能回答这些问题再落地
  • 每个字段都能回答:从哪里来、何时产生、上线能否拿到、是否敏感。
  • 每个样本都能确认粒度一致,且没有把同一事件重复统计。
  • 现场追问:如果明天要把它放进真实 App 流程,你能不能说清数据从哪里来、结果谁验收、错了谁兜底?
架构师总结:数据清洗是在训练前帮模型擦干净眼镜。 对架构师来说,数据清洗 不是一个要背的名词,而是一把判断尺:先看前提是否成立,再看收益是否大于复杂度,最后看失败时有没有证据、兜底和责任人。
通用例子:先脱离技术看懂它

同一用户反馈被客服系统重复创建 5 次,如果不去重,模型会误以为这个问题发生更频繁。

这个例子要看见的重点:把 AI 想法拆成数据、目标、指标和上线风险。 所以例子不是为了记故事,而是为了训练你在新场景里做同类判断。

投影 / Android 实战推演
  • 业务推演:投影 Android 业务里,日志上报可能因为弱网重复发送,耗时字段可能单位混乱,版本号可能有灰度包后缀。清洗时要统一单位、去重会话、保留设备和版本上下文。
  • 你要补的证据:围绕「基础判断」列出数据、文档、日志、用户反馈或人工标注,避免只凭感觉判断。
  • 可交付物:沉淀 场景判断表、数据字段表、评测指标和灰度上线规则。,让同事能照着复用,而不是只听你口头解释。
  • 验收指标:至少选一个质量指标、一个效率指标、一个风险指标;比如正确率/一次解决率、定位耗时/追问轮次、误导用户率/转人工率。
  • 迁移能力:同一套思路也能迁移到客服、测试、研发效率、运营分析和产品决策,不局限于投影业务。
老师会这样检查你是否真会了
  • 你能不能用一句人话解释「数据清洗」,并说出它解决的是「基础判断」里的什么问题?
  • 你能不能举一个适用场景和一个不适用场景,并说明边界来自数据、流程、风险还是权限?
  • 你能不能把它落到一个真实小任务:输入是什么、输出是什么、验收指标是什么、失败时谁兜底?
  • 老师追问:如果明天要把它放进真实 App 流程,你能不能说清数据从哪里来、结果谁验收、错了谁兜底?
  • 练习产物:为一张日志表写清洗清单:去重键、缺失处理、异常范围、字段口径、保留和删除规则。
精通标准:数据清洗是在训练前帮模型擦干净眼镜。 能精通的人,不是能背定义,而是能把它迁移到一个新业务里,写出判断表、数据要求、风险边界和落地动作。
业务判断方法

要求说明缺失值、重复、异常值怎么处理。

6. 数据泄漏

知识点讲解训练时看到了上线预测时不可能知道的信息,离线会虚高。

老师板书 数据泄漏 基础判断

数据泄漏会让模型在考试前偷看答案。

先用人话讲明白

数据泄漏是训练时用了上线预测时不可能知道的信息,导致离线指标虚高、线上效果崩掉。它是 AI 项目中最隐蔽也最危险的问题之一。

类比像考试时偷看答案,成绩漂亮但没有真实能力。

为什么要学把 AI 想法拆成数据、目标、指标和上线风险。

把关键词拆开看
  • 未来信息:预测时刻之后才产生的字段不能用。
  • 答案影子:某些字段虽然不是标签,但几乎等同于答案。
  • 流程泄漏:人工处理结果、工单关闭状态等可能偷带答案。

入门版理解:训练时看到了上线预测时不可能知道的信息,离线会虚高。

适用范围和边界
1. 优先原则:先满足前提,再谈使用

在实际工程里,任何概念都不能脱离场景硬套。学习「数据泄漏」时,第一步不是问“它高级不高级”,而是问它是否真的能帮助你完成一个更清晰、更可验证的业务判断。

  • 先看它服务的专业判断是不是「基础判断」:把 AI 想法拆成数据、目标、指标和上线风险。
  • 数据字段有明确来源、采集时间、单位、口径和负责人。
  • 训练时使用的字段在真实预测时也能拿到。
2. 引入边界:同时满足这些条件,才值得推进

只有当它能把问题从“凭感觉讨论”推进到“可设计、可评测、可复盘”时,才说明这个知识点真正进入了业务方案。

  • 当「数据泄漏」能改变投影设备体验、Android App 性能、用户反馈、日志归因、客服排障里的设计、评测或风险控制动作时,才值得进入方案。
  • 适合在建模前做字段盘点、日志治理、埋点补齐和样本抽样。
  • 适合把业务经验变成可观测信号,例如耗时、错误码、路径、版本和状态。
3. 反向边界:这些情况先停下来

专业判断的价值,不只是知道什么时候用,更是知道什么时候不用。下面这些情况出现时,要先补数据、补流程、补权限或补评测,而不是继续堆 AI 能力。

  • 每个特征都要标注生成时间,晚于预测时刻的一律警惕。
  • 指标异常高时不要先高兴,先查有没有泄漏。
  • 不要把所有数据库字段直接喂给模型,尤其是身份、隐私和事后字段。
  • 不要把缺失值都当 0,缺失可能代表未采集、未发生或被过滤。
  • 数据泄漏会让离线指标虚高,上线后迅速崩掉。
4. 上线前判断:能回答这些问题再落地
  • 每个字段都能回答:从哪里来、何时产生、上线能否拿到、是否敏感。
  • 每个样本都能确认粒度一致,且没有把同一事件重复统计。
  • 现场追问:如果明天要把它放进真实 App 流程,你能不能说清数据从哪里来、结果谁验收、错了谁兜底?
架构师总结:数据泄漏会让模型在考试前偷看答案。 对架构师来说,数据泄漏 不是一个要背的名词,而是一把判断尺:先看前提是否成立,再看收益是否大于复杂度,最后看失败时有没有证据、兜底和责任人。
通用例子:先脱离技术看懂它

预测用户是否会退款,却把“退款处理时间”作为特征,就是典型泄漏,因为预测时还不知道退款结果。

这个例子要看见的重点:把 AI 想法拆成数据、目标、指标和上线风险。 所以例子不是为了记故事,而是为了训练你在新场景里做同类判断。

投影 / Android 实战推演
  • 业务推演:投影 Android 场景里,如果要预测投屏是否失败,却使用了失败后才生成的错误归因字段、客服最终分类、研发修复标签,离线效果会很好,但上线时这些字段根本不存在。
  • 你要补的证据:围绕「基础判断」列出数据、文档、日志、用户反馈或人工标注,避免只凭感觉判断。
  • 可交付物:沉淀 场景判断表、数据字段表、评测指标和灰度上线规则。,让同事能照着复用,而不是只听你口头解释。
  • 验收指标:至少选一个质量指标、一个效率指标、一个风险指标;比如正确率/一次解决率、定位耗时/追问轮次、误导用户率/转人工率。
  • 迁移能力:同一套思路也能迁移到客服、测试、研发效率、运营分析和产品决策,不局限于投影业务。
老师会这样检查你是否真会了
  • 你能不能用一句人话解释「数据泄漏」,并说出它解决的是「基础判断」里的什么问题?
  • 你能不能举一个适用场景和一个不适用场景,并说明边界来自数据、流程、风险还是权限?
  • 你能不能把它落到一个真实小任务:输入是什么、输出是什么、验收指标是什么、失败时谁兜底?
  • 老师追问:如果明天要把它放进真实 App 流程,你能不能说清数据从哪里来、结果谁验收、错了谁兜底?
  • 练习产物:拿你的特征表逐列写“预测时刻前/后生成”。凡是预测后生成的字段,都要删除或改成训练标签。
精通标准:数据泄漏会让模型在考试前偷看答案。 能精通的人,不是能背定义,而是能把它迁移到一个新业务里,写出判断表、数据要求、风险边界和落地动作。
业务判断方法

按时间线检查字段预测当下是否已经存在。

学习产出

一页《团队 AI 场景筛选标准》

10 分钟练习

列 5 个可能字段,逐个标记预测当下能否拿到、口径是否稳定、会不会偷看结果。

老师怎么判断你学会了

提交作业交一张字段清单,标注字段类型、可用性、缺失/异常风险和泄漏风险。

  • 合格能识别哪些字段上线时拿不到,哪些字段需要清洗或确认口径。
  • 优秀能发现至少 1 个泄漏风险,并提出替代字段或数据建设动作。
  • 没通过只罗列字段,不判断预测当下是否可用,也不检查是否偷看答案。
04 1 天

理解训练过程:参数、损失函数和调参

本步 5 个知识点
学习目标

能用非算法语言解释模型怎么学习,并识别训练目标和业务目标的差异。

先记这一句话

训练就是让模型不断少犯训练目标里的错误,但训练目标不一定等于业务目标。

知识点清单与业务判断 先会用,再理解

1. 模型参数

知识点讲解参数是模型从数据中学到的内部数值,训练就是不断调整参数。

老师板书 模型参数 训练

参数是模型学到的经验,但不是天然可信的业务真理。

先用人话讲明白

模型参数是模型从数据中学到的内部数值,例如权重。训练过程本质上就是不断调整参数,让模型输出更接近标签或目标。

类比可以把它理解成把业务经验翻译成一张可训练、可验证的作业纸。

为什么要学理解模型到底学到了什么,以及为什么不是人工手写规则。

把关键词拆开看
  • 权重:表示某些信号对判断的影响方向和强度。
  • 学习结果:参数不是人工手写,而是训练算法从样本中估出来。
  • 不可直接读:复杂模型参数很多,不一定能被人逐个解释。

入门版理解:参数是模型从数据中学到的内部数值,训练就是不断调整参数。

适用范围和边界
1. 优先原则:先满足前提,再谈使用

在实际工程里,任何概念都不能脱离场景硬套。学习「模型参数」时,第一步不是问“它高级不高级”,而是问它是否真的能帮助你完成一个更清晰、更可验证的业务判断。

  • 先看它服务的专业判断是不是「训练」:理解模型到底学到了什么,以及为什么不是人工手写规则。
  • 训练目标已经明确,知道模型应该优化什么、不能只看什么。
  • 有固定验证集,调参和改特征不能只靠主观感受。
2. 引入边界:同时满足这些条件,才值得推进

只有当它能把问题从“凭感觉讨论”推进到“可设计、可评测、可复盘”时,才说明这个知识点真正进入了业务方案。

  • 当「模型参数」能改变投影设备体验、Android App 性能、用户反馈、日志归因、客服排障里的设计、评测或风险控制动作时,才值得进入方案。
  • 适合解释模型为什么会从数据中学到规律,而不是人工写规则。
  • 适合在模型效果不稳定、误报漏报成本不同、需要调参时使用。
3. 反向边界:这些情况先停下来

专业判断的价值,不只是知道什么时候用,更是知道什么时候不用。下面这些情况出现时,要先补数据、补流程、补权限或补评测,而不是继续堆 AI 能力。

  • 不要把参数当成业务因果结论,它更多是相关性学习结果。
  • 参数太多、样本太少时容易记住训练数据细节。
  • 不要把参数或特征重要性直接解释成因果关系。
  • 不要在没有评测集的情况下反复调超参数。
  • 过度调参会把验证集也调穿,真实上线不一定变好。
4. 上线前判断:能回答这些问题再落地
  • 能说明当前最重要的错误类型是什么,以及训练目标如何体现它。
  • 能记录每次调参前后指标、失败样本和业务影响。
  • 现场追问:如果明天要把它放进真实 App 流程,你能不能说清数据从哪里来、结果谁验收、错了谁兜底?
架构师总结:参数是模型学到的经验,但不是天然可信的业务真理。 对架构师来说,模型参数 不是一个要背的名词,而是一把判断尺:先看前提是否成立,再看收益是否大于复杂度,最后看失败时有没有证据、兜底和责任人。
通用例子:先脱离技术看懂它

线性模型里某个特征权重为正,可能表示这个特征越大,预测风险越高。

这个例子要看见的重点:理解模型到底学到了什么,以及为什么不是人工手写规则。 所以例子不是为了记故事,而是为了训练你在新场景里做同类判断。

投影 / Android 实战推演
  • 业务推演:投影 Android 场景里,模型可能学到“某固件版本 + 某网络类型 + 多次重试”与连接失败概率相关。这个关系体现在参数中,而不是写成一条显式 if 规则。
  • 你要补的证据:围绕「训练」列出数据、文档、日志、用户反馈或人工标注,避免只凭感觉判断。
  • 可交付物:沉淀 场景判断表、数据字段表、评测指标和灰度上线规则。,让同事能照着复用,而不是只听你口头解释。
  • 验收指标:至少选一个质量指标、一个效率指标、一个风险指标;比如正确率/一次解决率、定位耗时/追问轮次、误导用户率/转人工率。
  • 迁移能力:同一套思路也能迁移到客服、测试、研发效率、运营分析和产品决策,不局限于投影业务。
老师会这样检查你是否真会了
  • 你能不能用一句人话解释「模型参数」,并说出它解决的是「训练」里的什么问题?
  • 你能不能举一个适用场景和一个不适用场景,并说明边界来自数据、流程、风险还是权限?
  • 你能不能把它落到一个真实小任务:输入是什么、输出是什么、验收指标是什么、失败时谁兜底?
  • 老师追问:如果明天要把它放进真实 App 流程,你能不能说清数据从哪里来、结果谁验收、错了谁兜底?
  • 练习产物:用一个简单例子解释:如果启动耗时越高,投诉概率越大,模型参数可能怎样变化。
精通标准:参数是模型学到的经验,但不是天然可信的业务真理。 能精通的人,不是能背定义,而是能把它迁移到一个新业务里,写出判断表、数据要求、风险边界和落地动作。
业务判断方法

不要只问用了什么模型,还要问训练数据覆盖了哪些场景。

2. 损失函数

知识点讲解损失函数把预测错得多严重变成可优化的数字。

老师板书 损失函数 训练

损失函数是在告诉模型:什么错误最不能忍。

先用人话讲明白

损失函数定义模型错得有多严重,训练会努力让损失变小。它把业务目标翻译成数学优化目标,因此选错损失函数会优化错方向。

类比可以把它理解成把业务经验翻译成一张可训练、可验证的作业纸。

为什么要学把业务上不能忍的错误翻译成模型优化方向。

把关键词拆开看
  • 错误度量:分类和回归通常用不同损失。
  • 优化目标:模型只会认真优化你写进损失里的东西。
  • 业务代价:漏报和误报成本不同时,要在损失或阈值里体现。

入门版理解:损失函数把预测错得多严重变成可优化的数字。

适用范围和边界
1. 优先原则:先满足前提,再谈使用

在实际工程里,任何概念都不能脱离场景硬套。学习「损失函数」时,第一步不是问“它高级不高级”,而是问它是否真的能帮助你完成一个更清晰、更可验证的业务判断。

  • 先看它服务的专业判断是不是「训练」:把业务上不能忍的错误翻译成模型优化方向。
  • 训练目标已经明确,知道模型应该优化什么、不能只看什么。
  • 有固定验证集,调参和改特征不能只靠主观感受。
2. 引入边界:同时满足这些条件,才值得推进

只有当它能把问题从“凭感觉讨论”推进到“可设计、可评测、可复盘”时,才说明这个知识点真正进入了业务方案。

  • 当「损失函数」能改变投影设备体验、Android App 性能、用户反馈、日志归因、客服排障里的设计、评测或风险控制动作时,才值得进入方案。
  • 适合解释模型为什么会从数据中学到规律,而不是人工写规则。
  • 适合在模型效果不稳定、误报漏报成本不同、需要调参时使用。
3. 反向边界:这些情况先停下来

专业判断的价值,不只是知道什么时候用,更是知道什么时候不用。下面这些情况出现时,要先补数据、补流程、补权限或补评测,而不是继续堆 AI 能力。

  • 损失函数下降不等于业务收益一定提升。
  • 只优化平均损失可能忽略少数高影响用户。
  • 不要把参数或特征重要性直接解释成因果关系。
  • 不要在没有评测集的情况下反复调超参数。
  • 过度调参会把验证集也调穿,真实上线不一定变好。
4. 上线前判断:能回答这些问题再落地
  • 能说明当前最重要的错误类型是什么,以及训练目标如何体现它。
  • 能记录每次调参前后指标、失败样本和业务影响。
  • 现场追问:如果明天要把它放进真实 App 流程,你能不能说清数据从哪里来、结果谁验收、错了谁兜底?
架构师总结:损失函数是在告诉模型:什么错误最不能忍。 对架构师来说,损失函数 不是一个要背的名词,而是一把判断尺:先看前提是否成立,再看收益是否大于复杂度,最后看失败时有没有证据、兜底和责任人。
通用例子:先脱离技术看懂它

预测配送时间时,差 1 分钟和差 30 分钟都要算误差;识别风险时,漏掉高风险用户可能比误报更严重。

这个例子要看见的重点:把业务上不能忍的错误翻译成模型优化方向。 所以例子不是为了记故事,而是为了训练你在新场景里做同类判断。

投影 / Android 实战推演
  • 业务推演:投影 Android 业务里,如果模型用于识别“严重播放故障”,漏报会让用户继续受影响,误报则增加人工排查成本。损失设计或样本权重要体现严重故障更不能漏。
  • 你要补的证据:围绕「训练」列出数据、文档、日志、用户反馈或人工标注,避免只凭感觉判断。
  • 可交付物:沉淀 场景判断表、数据字段表、评测指标和灰度上线规则。,让同事能照着复用,而不是只听你口头解释。
  • 验收指标:至少选一个质量指标、一个效率指标、一个风险指标;比如正确率/一次解决率、定位耗时/追问轮次、误导用户率/转人工率。
  • 迁移能力:同一套思路也能迁移到客服、测试、研发效率、运营分析和产品决策,不局限于投影业务。
老师会这样检查你是否真会了
  • 你能不能用一句人话解释「损失函数」,并说出它解决的是「训练」里的什么问题?
  • 你能不能举一个适用场景和一个不适用场景,并说明边界来自数据、流程、风险还是权限?
  • 你能不能把它落到一个真实小任务:输入是什么、输出是什么、验收指标是什么、失败时谁兜底?
  • 老师追问:如果明天要把它放进真实 App 流程,你能不能说清数据从哪里来、结果谁验收、错了谁兜底?
  • 练习产物:写出你关心的错法:错判正常、错判异常、漏掉严重问题、误报轻微问题。按业务损失排序。
精通标准:损失函数是在告诉模型:什么错误最不能忍。 能精通的人,不是能背定义,而是能把它迁移到一个新业务里,写出判断表、数据要求、风险边界和落地动作。
业务判断方法

问模型优化目标是否真的等于业务目标。

3. 梯度下降

知识点讲解梯度下降沿着让损失变小的方向调整参数。

老师板书 梯度下降 训练

梯度下降不是业务能力本身,但它解释了模型为什么能从错误中调整。

先用人话讲明白

梯度下降是一种训练方法,像沿着坡度一步步往低处走,让损失函数变小。它关心的是每次该往哪个方向调整参数。

类比可以把它理解成把业务经验翻译成一张可训练、可验证的作业纸。

为什么要学理解模型如何从错误反馈中一点点调整。

把关键词拆开看
  • 梯度:告诉参数往哪个方向改能让损失下降。
  • 学习率:每一步走多大,太大震荡,太小太慢。
  • 局部最优:复杂模型不一定找到全局最好,但通常能找到够用方案。

入门版理解:梯度下降沿着让损失变小的方向调整参数。

适用范围和边界
1. 优先原则:先满足前提,再谈使用

在实际工程里,任何概念都不能脱离场景硬套。学习「梯度下降」时,第一步不是问“它高级不高级”,而是问它是否真的能帮助你完成一个更清晰、更可验证的业务判断。

  • 先看它服务的专业判断是不是「训练」:理解模型如何从错误反馈中一点点调整。
  • 训练目标已经明确,知道模型应该优化什么、不能只看什么。
  • 有固定验证集,调参和改特征不能只靠主观感受。
2. 引入边界:同时满足这些条件,才值得推进

只有当它能把问题从“凭感觉讨论”推进到“可设计、可评测、可复盘”时,才说明这个知识点真正进入了业务方案。

  • 当「梯度下降」能改变投影设备体验、Android App 性能、用户反馈、日志归因、客服排障里的设计、评测或风险控制动作时,才值得进入方案。
  • 适合解释模型为什么会从数据中学到规律,而不是人工写规则。
  • 适合在模型效果不稳定、误报漏报成本不同、需要调参时使用。
3. 反向边界:这些情况先停下来

专业判断的价值,不只是知道什么时候用,更是知道什么时候不用。下面这些情况出现时,要先补数据、补流程、补权限或补评测,而不是继续堆 AI 能力。

  • 训练不收敛可能是学习率、数据尺度、标签质量或模型结构问题。
  • 不要把训练轮数越多等同于效果越好,过多可能过拟合。
  • 不要把参数或特征重要性直接解释成因果关系。
  • 不要在没有评测集的情况下反复调超参数。
  • 过度调参会把验证集也调穿,真实上线不一定变好。
4. 上线前判断:能回答这些问题再落地
  • 能说明当前最重要的错误类型是什么,以及训练目标如何体现它。
  • 能记录每次调参前后指标、失败样本和业务影响。
  • 现场追问:如果明天要把它放进真实 App 流程,你能不能说清数据从哪里来、结果谁验收、错了谁兜底?
架构师总结:梯度下降不是业务能力本身,但它解释了模型为什么能从错误中调整。 对架构师来说,梯度下降 不是一个要背的名词,而是一把判断尺:先看前提是否成立,再看收益是否大于复杂度,最后看失败时有没有证据、兜底和责任人。
通用例子:先脱离技术看懂它

你可以把它理解成调音量:太大就刺耳,太小听不清,每次根据反馈一点点调整。

这个例子要看见的重点:理解模型如何从错误反馈中一点点调整。 所以例子不是为了记故事,而是为了训练你在新场景里做同类判断。

投影 / Android 实战推演
  • 业务推演:投影 Android 业务里,你不一定亲自写梯度下降,但要理解模型训练为什么需要多轮迭代、为什么数据质量差会让训练方向混乱、为什么训练日志里的 loss 曲线能反映学习是否稳定。
  • 你要补的证据:围绕「训练」列出数据、文档、日志、用户反馈或人工标注,避免只凭感觉判断。
  • 可交付物:沉淀 场景判断表、数据字段表、评测指标和灰度上线规则。,让同事能照着复用,而不是只听你口头解释。
  • 验收指标:至少选一个质量指标、一个效率指标、一个风险指标;比如正确率/一次解决率、定位耗时/追问轮次、误导用户率/转人工率。
  • 迁移能力:同一套思路也能迁移到客服、测试、研发效率、运营分析和产品决策,不局限于投影业务。
老师会这样检查你是否真会了
  • 你能不能用一句人话解释「梯度下降」,并说出它解决的是「训练」里的什么问题?
  • 你能不能举一个适用场景和一个不适用场景,并说明边界来自数据、流程、风险还是权限?
  • 你能不能把它落到一个真实小任务:输入是什么、输出是什么、验收指标是什么、失败时谁兜底?
  • 老师追问:如果明天要把它放进真实 App 流程,你能不能说清数据从哪里来、结果谁验收、错了谁兜底?
  • 练习产物:看一张 loss 曲线,判断它是稳定下降、震荡、停滞还是过拟合,并写出可能原因。
精通标准:梯度下降不是业务能力本身,但它解释了模型为什么能从错误中调整。 能精通的人,不是能背定义,而是能把它迁移到一个新业务里,写出判断表、数据要求、风险边界和落地动作。
业务判断方法

训练不稳定时要追问数据、学习率、样本分布和目标定义。

4. 超参数

知识点讲解超参数是训练前配置,会影响速度、拟合程度和稳定性。

老师板书 超参数 调试

超参数是控制模型行为的旋钮,必须配合评测使用。

先用人话讲明白

超参数是训练前由人设置的控制项,例如学习率、树深、批大小、温度、top_p。它们不是模型从数据里自动学到的参数,而是影响学习过程和输出风格的旋钮。

类比可以把它理解成把业务经验翻译成一张可训练、可验证的作业纸。

为什么要学控制模型训练或输出行为,而不是让模型自己决定一切。

把关键词拆开看
  • 训练超参数:控制模型怎么学,例如学习率和训练轮数。
  • 推理超参数:控制模型怎么输出,例如温度和最大 token。
  • 调参成本:每次尝试都需要评测,不能凭感觉乱调。

入门版理解:超参数是训练前配置,会影响速度、拟合程度和稳定性。

适用范围和边界
1. 优先原则:先满足前提,再谈使用

在实际工程里,任何概念都不能脱离场景硬套。学习「超参数」时,第一步不是问“它高级不高级”,而是问它是否真的能帮助你完成一个更清晰、更可验证的业务判断。

  • 先看它服务的专业判断是不是「调试」:控制模型训练或输出行为,而不是让模型自己决定一切。
  • 训练目标已经明确,知道模型应该优化什么、不能只看什么。
  • 有固定验证集,调参和改特征不能只靠主观感受。
2. 引入边界:同时满足这些条件,才值得推进

只有当它能把问题从“凭感觉讨论”推进到“可设计、可评测、可复盘”时,才说明这个知识点真正进入了业务方案。

  • 当「超参数」能改变投影设备体验、Android App 性能、用户反馈、日志归因、客服排障里的设计、评测或风险控制动作时,才值得进入方案。
  • 适合解释模型为什么会从数据中学到规律,而不是人工写规则。
  • 适合在模型效果不稳定、误报漏报成本不同、需要调参时使用。
3. 反向边界:这些情况先停下来

专业判断的价值,不只是知道什么时候用,更是知道什么时候不用。下面这些情况出现时,要先补数据、补流程、补权限或补评测,而不是继续堆 AI 能力。

  • 没有评测集时,调参只是碰运气。
  • 同一组超参数不一定适合所有场景,客服、研发、运营的目标不同。
  • 不要把参数或特征重要性直接解释成因果关系。
  • 不要在没有评测集的情况下反复调超参数。
  • 过度调参会把验证集也调穿,真实上线不一定变好。
4. 上线前判断:能回答这些问题再落地
  • 能说明当前最重要的错误类型是什么,以及训练目标如何体现它。
  • 能记录每次调参前后指标、失败样本和业务影响。
  • 现场追问:如果明天要把它放进真实 App 流程,你能不能说清数据从哪里来、结果谁验收、错了谁兜底?
架构师总结:超参数是控制模型行为的旋钮,必须配合评测使用。 对架构师来说,超参数 不是一个要背的名词,而是一把判断尺:先看前提是否成立,再看收益是否大于复杂度,最后看失败时有没有证据、兜底和责任人。
通用例子:先脱离技术看懂它

大模型温度高时回答更发散,温度低时更稳定;这就是推理超参数影响输出。

这个例子要看见的重点:控制模型训练或输出行为,而不是让模型自己决定一切。 所以例子不是为了记故事,而是为了训练你在新场景里做同类判断。

投影 / Android 实战推演
  • 业务推演:投影 Android 应用里,做故障归因助手时,面向客服的回答应低温度、稳定、可引用;做运营文案草稿可以稍高温度,让表达更丰富。
  • 你要补的证据:围绕「调试」列出数据、文档、日志、用户反馈或人工标注,避免只凭感觉判断。
  • 可交付物:沉淀 场景判断表、数据字段表、评测指标和灰度上线规则。,让同事能照着复用,而不是只听你口头解释。
  • 验收指标:至少选一个质量指标、一个效率指标、一个风险指标;比如正确率/一次解决率、定位耗时/追问轮次、误导用户率/转人工率。
  • 迁移能力:同一套思路也能迁移到客服、测试、研发效率、运营分析和产品决策,不局限于投影业务。
老师会这样检查你是否真会了
  • 你能不能用一句人话解释「超参数」,并说出它解决的是「调试」里的什么问题?
  • 你能不能举一个适用场景和一个不适用场景,并说明边界来自数据、流程、风险还是权限?
  • 你能不能把它落到一个真实小任务:输入是什么、输出是什么、验收指标是什么、失败时谁兜底?
  • 老师追问:如果明天要把它放进真实 App 流程,你能不能说清数据从哪里来、结果谁验收、错了谁兜底?
  • 练习产物:给一个 AI 助手设计两套配置:客服稳定回答版和创意文案版,并说明温度、长度、引用要求为什么不同。
精通标准:超参数是控制模型行为的旋钮,必须配合评测使用。 能精通的人,不是能背定义,而是能把它迁移到一个新业务里,写出判断表、数据要求、风险边界和落地动作。
业务判断方法

把调参理解成准确率、成本和稳定性之间的取舍。

5. 可解释性

知识点讲解解释不是所有模型都天然具备,但业务评审需要理解关键影响因素。

老师板书 可解释性 基础判断

可解释性让 AI 结果从“看起来对”变成“能被人负责地采用”。

先用人话讲明白

可解释性是让人理解模型为什么给出某个判断,至少能知道主要依据、可信程度和限制。它不是让黑盒完全透明,而是让业务能负责地使用结果。

类比可以把它理解成把业务经验翻译成一张可训练、可验证的作业纸。

为什么要学把 AI 想法拆成数据、目标、指标和上线风险。

把关键词拆开看
  • 局部解释:解释某一次预测为什么这样。
  • 全局解释:解释模型整体依赖哪些因素。
  • 可行动:解释要能帮助人做下一步,而不是只给技术术语。

入门版理解:解释不是所有模型都天然具备,但业务评审需要理解关键影响因素。

适用范围和边界
1. 优先原则:先满足前提,再谈使用

在实际工程里,任何概念都不能脱离场景硬套。学习「可解释性」时,第一步不是问“它高级不高级”,而是问它是否真的能帮助你完成一个更清晰、更可验证的业务判断。

  • 先看它服务的专业判断是不是「基础判断」:把 AI 想法拆成数据、目标、指标和上线风险。
  • 训练目标已经明确,知道模型应该优化什么、不能只看什么。
  • 有固定验证集,调参和改特征不能只靠主观感受。
2. 引入边界:同时满足这些条件,才值得推进

只有当它能把问题从“凭感觉讨论”推进到“可设计、可评测、可复盘”时,才说明这个知识点真正进入了业务方案。

  • 当「可解释性」能改变投影设备体验、Android App 性能、用户反馈、日志归因、客服排障里的设计、评测或风险控制动作时,才值得进入方案。
  • 适合解释模型为什么会从数据中学到规律,而不是人工写规则。
  • 适合在模型效果不稳定、误报漏报成本不同、需要调参时使用。
3. 反向边界:这些情况先停下来

专业判断的价值,不只是知道什么时候用,更是知道什么时候不用。下面这些情况出现时,要先补数据、补流程、补权限或补评测,而不是继续堆 AI 能力。

  • 解释不等于因果证明,不能把相关因素当根因。
  • 涉及用户权益和人工处理时,解释必须更谨慎、更可审计。
  • 不要把参数或特征重要性直接解释成因果关系。
  • 不要在没有评测集的情况下反复调超参数。
  • 过度调参会把验证集也调穿,真实上线不一定变好。
4. 上线前判断:能回答这些问题再落地
  • 能说明当前最重要的错误类型是什么,以及训练目标如何体现它。
  • 能记录每次调参前后指标、失败样本和业务影响。
  • 现场追问:如果明天要把它放进真实 App 流程,你能不能说清数据从哪里来、结果谁验收、错了谁兜底?
架构师总结:可解释性让 AI 结果从“看起来对”变成“能被人负责地采用”。 对架构师来说,可解释性 不是一个要背的名词,而是一把判断尺:先看前提是否成立,再看收益是否大于复杂度,最后看失败时有没有证据、兜底和责任人。
通用例子:先脱离技术看懂它

风控模型提示“近期异常交易次数、登录地点变化、设备更换”是主要原因,比只给一个 0.87 风险分更可用。

这个例子要看见的重点:把 AI 想法拆成数据、目标、指标和上线风险。 所以例子不是为了记故事,而是为了训练你在新场景里做同类判断。

投影 / Android 实战推演
  • 业务推演:投影 Android 场景里,故障归因模型不能只说“高概率是播放问题”,还要说明依据:某版本、首帧时间异常、同类设备近期反馈增加、日志中出现特定错误码。
  • 你要补的证据:围绕「基础判断」列出数据、文档、日志、用户反馈或人工标注,避免只凭感觉判断。
  • 可交付物:沉淀 场景判断表、数据字段表、评测指标和灰度上线规则。,让同事能照着复用,而不是只听你口头解释。
  • 验收指标:至少选一个质量指标、一个效率指标、一个风险指标;比如正确率/一次解决率、定位耗时/追问轮次、误导用户率/转人工率。
  • 迁移能力:同一套思路也能迁移到客服、测试、研发效率、运营分析和产品决策,不局限于投影业务。
老师会这样检查你是否真会了
  • 你能不能用一句人话解释「可解释性」,并说出它解决的是「基础判断」里的什么问题?
  • 你能不能举一个适用场景和一个不适用场景,并说明边界来自数据、流程、风险还是权限?
  • 你能不能把它落到一个真实小任务:输入是什么、输出是什么、验收指标是什么、失败时谁兜底?
  • 老师追问:如果明天要把它放进真实 App 流程,你能不能说清数据从哪里来、结果谁验收、错了谁兜底?
  • 练习产物:选一个模型输出,要求它同时给结论、证据、置信度、可能误判点和建议下一步。
精通标准:可解释性让 AI 结果从“看起来对”变成“能被人负责地采用”。 能精通的人,不是能背定义,而是能把它迁移到一个新业务里,写出判断表、数据要求、风险边界和落地动作。
业务判断方法

要求重要特征、典型案例和错误样本,而不是只接受分数。

学习产出

一页《团队 AI 场景筛选标准》

10 分钟练习

用 3 句话解释训练:模型看到什么、错在哪里、怎么变好。不要写公式。

老师怎么判断你学会了

提交作业交一段面向产品/业务的训练解释,并列出训练目标和业务目标可能不一致的地方。

  • 合格能不用公式解释训练、损失和参数调整的关系。
  • 优秀能说明“损失下降不等于业务变好”,并举一个业务例子。
  • 没通过只背术语,无法讲给产品或业务听。
05 1 天

掌握训练 / 验证 / 测试:别让模型背答案

本步 6 个知识点
学习目标

能判断模型评估是否可信,识别过拟合、泄漏和分布变化风险。

先记这一句话

模型真正的价值,看它在没见过的数据上表现如何。

知识点清单与业务判断 先会用,再理解

1. 训练集

知识点讲解用于学习参数,决定模型见过哪些模式。

老师板书 训练集 基础判断

训练集决定模型见过什么世界。

先用人话讲明白

训练集是给模型学习规律的数据。它像教材,模型通过它调整参数,但它不能同时当最终考试卷。

类比像教材,负责让模型学习。

为什么要学把 AI 想法拆成数据、目标、指标和上线风险。

把关键词拆开看
  • 学习材料:训练集负责提供规律和样例。
  • 覆盖面:要覆盖常见场景和关键难例。
  • 时间切分:预测未来时,训练集最好早于验证和测试数据。

入门版理解:用于学习参数,决定模型见过哪些模式。

适用范围和边界
1. 优先原则:先满足前提,再谈使用

在实际工程里,任何概念都不能脱离场景硬套。学习「训练集」时,第一步不是问“它高级不高级”,而是问它是否真的能帮助你完成一个更清晰、更可验证的业务判断。

  • 先看它服务的专业判断是不是「基础判断」:把 AI 想法拆成数据、目标、指标和上线风险。
  • 训练、验证、测试要按时间、用户或场景隔离,不能互相泄漏。
  • 核心指标必须和业务动作绑定,不能只看一个平均分。
2. 引入边界:同时满足这些条件,才值得推进

只有当它能把问题从“凭感觉讨论”推进到“可设计、可评测、可复盘”时,才说明这个知识点真正进入了业务方案。

  • 当「训练集」能改变投影设备体验、Android App 性能、用户反馈、日志归因、客服排障里的设计、评测或风险控制动作时,才值得进入方案。
  • 适合在模型验收、灰度上线、版本对比和线上运营时使用。
  • 适合判断模型是否真的能面对新用户、新机型、新版本和新问题。
3. 反向边界:这些情况先停下来

专业判断的价值,不只是知道什么时候用,更是知道什么时候不用。下面这些情况出现时,要先补数据、补流程、补权限或补评测,而不是继续堆 AI 能力。

  • 训练集里混入测试集信息会导致评测失真。
  • 只收集成功案例会让模型看不懂失败场景。
  • 不要只用 Accuracy 判断异常、风险、严重故障这类低占比问题。
  • 不要用测试集反复调方案,测试集会失去最终验收意义。
  • 类别不均衡会让高 Accuracy 掩盖低 Recall。
4. 上线前判断:能回答这些问题再落地
  • 能画出混淆矩阵,并说明每种错法的业务代价。
  • 能按机型、版本、网络、问题类型分层看指标。
  • 现场追问:如果明天要把它放进真实 App 流程,你能不能说清数据从哪里来、结果谁验收、错了谁兜底?
架构师总结:训练集决定模型见过什么世界。 对架构师来说,训练集 不是一个要背的名词,而是一把判断尺:先看前提是否成立,再看收益是否大于复杂度,最后看失败时有没有证据、兜底和责任人。
通用例子:先脱离技术看懂它

用 1 月到 5 月的历史工单训练问题分类模型,可以让模型学习常见问题模式。

这个例子要看见的重点:把 AI 想法拆成数据、目标、指标和上线风险。 所以例子不是为了记故事,而是为了训练你在新场景里做同类判断。

投影 / Android 实战推演
  • 业务推演:投影 Android 场景里,训练集要包含不同机型、系统版本、网络环境、App 版本、用户路径,否则模型会只适合测试室里的少数设备。
  • 你要补的证据:围绕「基础判断」列出数据、文档、日志、用户反馈或人工标注,避免只凭感觉判断。
  • 可交付物:沉淀 场景判断表、数据字段表、评测指标和灰度上线规则。,让同事能照着复用,而不是只听你口头解释。
  • 验收指标:至少选一个质量指标、一个效率指标、一个风险指标;比如正确率/一次解决率、定位耗时/追问轮次、误导用户率/转人工率。
  • 迁移能力:同一套思路也能迁移到客服、测试、研发效率、运营分析和产品决策,不局限于投影业务。
老师会这样检查你是否真会了
  • 你能不能用一句人话解释「训练集」,并说出它解决的是「基础判断」里的什么问题?
  • 你能不能举一个适用场景和一个不适用场景,并说明边界来自数据、流程、风险还是权限?
  • 你能不能把它落到一个真实小任务:输入是什么、输出是什么、验收指标是什么、失败时谁兜底?
  • 老师追问:如果明天要把它放进真实 App 流程,你能不能说清数据从哪里来、结果谁验收、错了谁兜底?
  • 练习产物:说明你的训练集时间范围、样本量、覆盖机型、覆盖版本,以及哪些场景没有覆盖。
精通标准:训练集决定模型见过什么世界。 能精通的人,不是能背定义,而是能把它迁移到一个新业务里,写出判断表、数据要求、风险边界和落地动作。
业务判断方法

问训练集是否覆盖核心人群、渠道、时间段和异常场景。

2. 验证集

知识点讲解用于选模型、调参和比较方案。

老师板书 验证集 基础判断

验证集是迭代方向盘,但不是最终验收章。

先用人话讲明白

验证集用于开发阶段选择模型、调参数、比较方案。它像模拟考试,可以用来改进,但不能当最终成绩。

类比像模拟考试,负责帮你选方案和调方向。

为什么要学把 AI 想法拆成数据、目标、指标和上线风险。

把关键词拆开看
  • 方案选择:比较不同模型、特征、提示词和参数。
  • 防过拟合:观察训练集好但验证集差的情况。
  • 稳定反馈:每次改动后用同一批验证样本对比。

入门版理解:用于选模型、调参和比较方案。

适用范围和边界
1. 优先原则:先满足前提,再谈使用

在实际工程里,任何概念都不能脱离场景硬套。学习「验证集」时,第一步不是问“它高级不高级”,而是问它是否真的能帮助你完成一个更清晰、更可验证的业务判断。

  • 先看它服务的专业判断是不是「基础判断」:把 AI 想法拆成数据、目标、指标和上线风险。
  • 训练、验证、测试要按时间、用户或场景隔离,不能互相泄漏。
  • 核心指标必须和业务动作绑定,不能只看一个平均分。
2. 引入边界:同时满足这些条件,才值得推进

只有当它能把问题从“凭感觉讨论”推进到“可设计、可评测、可复盘”时,才说明这个知识点真正进入了业务方案。

  • 当「验证集」能改变投影设备体验、Android App 性能、用户反馈、日志归因、客服排障里的设计、评测或风险控制动作时,才值得进入方案。
  • 适合在模型验收、灰度上线、版本对比和线上运营时使用。
  • 适合判断模型是否真的能面对新用户、新机型、新版本和新问题。
3. 反向边界:这些情况先停下来

专业判断的价值,不只是知道什么时候用,更是知道什么时候不用。下面这些情况出现时,要先补数据、补流程、补权限或补评测,而不是继续堆 AI 能力。

  • 反复根据验证集调到很高,验证集也会被“记住”。
  • 验证集要定期更新,否则跟不上新版本问题。
  • 不要只用 Accuracy 判断异常、风险、严重故障这类低占比问题。
  • 不要用测试集反复调方案,测试集会失去最终验收意义。
  • 类别不均衡会让高 Accuracy 掩盖低 Recall。
4. 上线前判断:能回答这些问题再落地
  • 能画出混淆矩阵,并说明每种错法的业务代价。
  • 能按机型、版本、网络、问题类型分层看指标。
  • 现场追问:如果明天要把它放进真实 App 流程,你能不能说清数据从哪里来、结果谁验收、错了谁兜底?
架构师总结:验证集是迭代方向盘,但不是最终验收章。 对架构师来说,验证集 不是一个要背的名词,而是一把判断尺:先看前提是否成立,再看收益是否大于复杂度,最后看失败时有没有证据、兜底和责任人。
通用例子:先脱离技术看懂它

你改了问题分类 Prompt 后,用固定验证集比较准确率和错误类型,才能知道是真的变好。

这个例子要看见的重点:把 AI 想法拆成数据、目标、指标和上线风险。 所以例子不是为了记故事,而是为了训练你在新场景里做同类判断。

投影 / Android 实战推演
  • 业务推演:投影 Android 业务里,可以保留一批不同机型和版本的真实故障工单做验证集,每次更新分类规则、模型或 RAG 知识库都跑一次。
  • 你要补的证据:围绕「基础判断」列出数据、文档、日志、用户反馈或人工标注,避免只凭感觉判断。
  • 可交付物:沉淀 场景判断表、数据字段表、评测指标和灰度上线规则。,让同事能照着复用,而不是只听你口头解释。
  • 验收指标:至少选一个质量指标、一个效率指标、一个风险指标;比如正确率/一次解决率、定位耗时/追问轮次、误导用户率/转人工率。
  • 迁移能力:同一套思路也能迁移到客服、测试、研发效率、运营分析和产品决策,不局限于投影业务。
老师会这样检查你是否真会了
  • 你能不能用一句人话解释「验证集」,并说出它解决的是「基础判断」里的什么问题?
  • 你能不能举一个适用场景和一个不适用场景,并说明边界来自数据、流程、风险还是权限?
  • 你能不能把它落到一个真实小任务:输入是什么、输出是什么、验收指标是什么、失败时谁兜底?
  • 老师追问:如果明天要把它放进真实 App 流程,你能不能说清数据从哪里来、结果谁验收、错了谁兜底?
  • 练习产物:建立 50 条固定验证案例,记录每次模型版本的正确、错误、原因和改动说明。
精通标准:验证集是迭代方向盘,但不是最终验收章。 能精通的人,不是能背定义,而是能把它迁移到一个新业务里,写出判断表、数据要求、风险边界和落地动作。
业务判断方法

要求说明验证集如何切分,避免反复刷分。

3. 测试集

知识点讲解用于最终估计面对新数据的表现,不应参与训练和调参。

老师板书 测试集 基础判断

测试集不是为了证明你对,而是为了尽早发现你哪里不稳。

先用人话讲明白

测试集用于最终验收模型是否能泛化到未见过的数据。它应该尽量模拟真实上线环境,并在开发过程中少碰。

类比像正式考试,负责证明能不能面对没见过的题。

为什么要学把 AI 想法拆成数据、目标、指标和上线风险。

把关键词拆开看
  • 最终考试:只在关键节点使用,避免被调参污染。
  • 真实分布:要接近线上用户、设备和问题比例。
  • 独立性:测试样本不能和训练样本重复或相互泄漏。

入门版理解:用于最终估计面对新数据的表现,不应参与训练和调参。

适用范围和边界
1. 优先原则:先满足前提,再谈使用

在实际工程里,任何概念都不能脱离场景硬套。学习「测试集」时,第一步不是问“它高级不高级”,而是问它是否真的能帮助你完成一个更清晰、更可验证的业务判断。

  • 先看它服务的专业判断是不是「基础判断」:把 AI 想法拆成数据、目标、指标和上线风险。
  • 训练、验证、测试要按时间、用户或场景隔离,不能互相泄漏。
  • 核心指标必须和业务动作绑定,不能只看一个平均分。
2. 引入边界:同时满足这些条件,才值得推进

只有当它能把问题从“凭感觉讨论”推进到“可设计、可评测、可复盘”时,才说明这个知识点真正进入了业务方案。

  • 当「测试集」能改变投影设备体验、Android App 性能、用户反馈、日志归因、客服排障里的设计、评测或风险控制动作时,才值得进入方案。
  • 适合在模型验收、灰度上线、版本对比和线上运营时使用。
  • 适合判断模型是否真的能面对新用户、新机型、新版本和新问题。
3. 反向边界:这些情况先停下来

专业判断的价值,不只是知道什么时候用,更是知道什么时候不用。下面这些情况出现时,要先补数据、补流程、补权限或补评测,而不是继续堆 AI 能力。

  • 测试集过小会让结果不稳定。
  • 只看总分会掩盖某些设备或版本的严重失败。
  • 不要只用 Accuracy 判断异常、风险、严重故障这类低占比问题。
  • 不要用测试集反复调方案,测试集会失去最终验收意义。
  • 类别不均衡会让高 Accuracy 掩盖低 Recall。
4. 上线前判断:能回答这些问题再落地
  • 能画出混淆矩阵,并说明每种错法的业务代价。
  • 能按机型、版本、网络、问题类型分层看指标。
  • 现场追问:如果明天要把它放进真实 App 流程,你能不能说清数据从哪里来、结果谁验收、错了谁兜底?
架构师总结:测试集不是为了证明你对,而是为了尽早发现你哪里不稳。 对架构师来说,测试集 不是一个要背的名词,而是一把判断尺:先看前提是否成立,再看收益是否大于复杂度,最后看失败时有没有证据、兜底和责任人。
通用例子:先脱离技术看懂它

模型上线前,用最近一个月从未参与训练的数据做最终评估,比在老数据上反复刷分更可信。

这个例子要看见的重点:把 AI 想法拆成数据、目标、指标和上线风险。 所以例子不是为了记故事,而是为了训练你在新场景里做同类判断。

投影 / Android 实战推演
  • 业务推演:投影 Android 场景里,测试集要包含真实用户设备、灰度版本、弱网场景、低端设备和新旧系统组合,才能看出模型是否真的能上线。
  • 你要补的证据:围绕「基础判断」列出数据、文档、日志、用户反馈或人工标注,避免只凭感觉判断。
  • 可交付物:沉淀 场景判断表、数据字段表、评测指标和灰度上线规则。,让同事能照着复用,而不是只听你口头解释。
  • 验收指标:至少选一个质量指标、一个效率指标、一个风险指标;比如正确率/一次解决率、定位耗时/追问轮次、误导用户率/转人工率。
  • 迁移能力:同一套思路也能迁移到客服、测试、研发效率、运营分析和产品决策,不局限于投影业务。
老师会这样检查你是否真会了
  • 你能不能用一句人话解释「测试集」,并说出它解决的是「基础判断」里的什么问题?
  • 你能不能举一个适用场景和一个不适用场景,并说明边界来自数据、流程、风险还是权限?
  • 你能不能把它落到一个真实小任务:输入是什么、输出是什么、验收指标是什么、失败时谁兜底?
  • 老师追问:如果明天要把它放进真实 App 流程,你能不能说清数据从哪里来、结果谁验收、错了谁兜底?
  • 练习产物:为一个模型写上线测试方案:样本来源、样本量、设备覆盖、通过指标、失败后回滚策略。
精通标准:测试集不是为了证明你对,而是为了尽早发现你哪里不稳。 能精通的人,不是能背定义,而是能把它迁移到一个新业务里,写出判断表、数据要求、风险边界和落地动作。
业务判断方法

问测试集有没有被提前看过。

4. 泛化能力

知识点讲解模型在新样本上仍能保持效果的能力。

老师板书 泛化能力 上线

泛化能力是 AI 能不能走出实验室的关键。

先用人话讲明白

泛化能力是模型面对新样本仍然有效的能力。业务真正购买的是泛化,而不是模型在训练数据上的漂亮表现。

类比可以把它理解成把业务经验翻译成一张可训练、可验证的作业纸。

为什么要学确认模型能不能从历史样本走到未来真实场景。

把关键词拆开看
  • 新样本:模型没见过但和业务未来相似的数据。
  • 稳定性:不同时间、设备、人群下效果不大幅波动。
  • 迁移限制:从一个场景学到的规律不一定适用于另一个场景。

入门版理解:模型在新样本上仍能保持效果的能力。

适用范围和边界
1. 优先原则:先满足前提,再谈使用

在实际工程里,任何概念都不能脱离场景硬套。学习「泛化能力」时,第一步不是问“它高级不高级”,而是问它是否真的能帮助你完成一个更清晰、更可验证的业务判断。

  • 先看它服务的专业判断是不是「上线」:确认模型能不能从历史样本走到未来真实场景。
  • 训练、验证、测试要按时间、用户或场景隔离,不能互相泄漏。
  • 核心指标必须和业务动作绑定,不能只看一个平均分。
2. 引入边界:同时满足这些条件,才值得推进

只有当它能把问题从“凭感觉讨论”推进到“可设计、可评测、可复盘”时,才说明这个知识点真正进入了业务方案。

  • 当「泛化能力」能改变投影设备体验、Android App 性能、用户反馈、日志归因、客服排障里的设计、评测或风险控制动作时,才值得进入方案。
  • 适合在模型验收、灰度上线、版本对比和线上运营时使用。
  • 适合判断模型是否真的能面对新用户、新机型、新版本和新问题。
3. 反向边界:这些情况先停下来

专业判断的价值,不只是知道什么时候用,更是知道什么时候不用。下面这些情况出现时,要先补数据、补流程、补权限或补评测,而不是继续堆 AI 能力。

  • 训练集太单一会削弱泛化。
  • 业务环境变化后,原来的泛化能力可能下降。
  • 不要只用 Accuracy 判断异常、风险、严重故障这类低占比问题。
  • 不要用测试集反复调方案,测试集会失去最终验收意义。
  • 类别不均衡会让高 Accuracy 掩盖低 Recall。
4. 上线前判断:能回答这些问题再落地
  • 能画出混淆矩阵,并说明每种错法的业务代价。
  • 能按机型、版本、网络、问题类型分层看指标。
  • 现场追问:如果明天要把它放进真实 App 流程,你能不能说清数据从哪里来、结果谁验收、错了谁兜底?
架构师总结:泛化能力是 AI 能不能走出实验室的关键。 对架构师来说,泛化能力 不是一个要背的名词,而是一把判断尺:先看前提是否成立,再看收益是否大于复杂度,最后看失败时有没有证据、兜底和责任人。
通用例子:先脱离技术看懂它

模型在北京用户上训练很好,不代表到了全国用户也一样好,因为网络、设备、行为都可能不同。

这个例子要看见的重点:确认模型能不能从历史样本走到未来真实场景。 所以例子不是为了记故事,而是为了训练你在新场景里做同类判断。

投影 / Android 实战推演
  • 业务推演:投影 Android 业务里,在高端投影设备上表现好的故障分类模型,不一定适合低内存电视盒子;在内测用户上稳定,不代表普通用户也稳定。
  • 你要补的证据:围绕「上线」列出数据、文档、日志、用户反馈或人工标注,避免只凭感觉判断。
  • 可交付物:沉淀 场景判断表、数据字段表、评测指标和灰度上线规则。,让同事能照着复用,而不是只听你口头解释。
  • 验收指标:至少选一个质量指标、一个效率指标、一个风险指标;比如正确率/一次解决率、定位耗时/追问轮次、误导用户率/转人工率。
  • 迁移能力:同一套思路也能迁移到客服、测试、研发效率、运营分析和产品决策,不局限于投影业务。
老师会这样检查你是否真会了
  • 你能不能用一句人话解释「泛化能力」,并说出它解决的是「上线」里的什么问题?
  • 你能不能举一个适用场景和一个不适用场景,并说明边界来自数据、流程、风险还是权限?
  • 你能不能把它落到一个真实小任务:输入是什么、输出是什么、验收指标是什么、失败时谁兜底?
  • 老师追问:如果明天要把它放进真实 App 流程,你能不能说清数据从哪里来、结果谁验收、错了谁兜底?
  • 练习产物:把评测结果按机型、系统版本、网络类型、App 版本分层,看是否有某一层明显掉分。
精通标准:泛化能力是 AI 能不能走出实验室的关键。 能精通的人,不是能背定义,而是能把它迁移到一个新业务里,写出判断表、数据要求、风险边界和落地动作。
业务判断方法

看新时间段、新渠道、新人群上的表现。

5. 过拟合

知识点讲解模型记住了训练噪声,新数据表现变差。

老师板书 过拟合 基础判断

过拟合是模型太会背题,不会做题。

先用人话讲明白

过拟合是模型记住了训练数据里的细节和噪声,却没有学到可迁移规律。表现是训练分数高,验证或线上效果差。

类比像只背原题,换个说法就不会。

为什么要学把 AI 想法拆成数据、目标、指标和上线风险。

把关键词拆开看
  • 记忆噪声:把偶然现象当成规律。
  • 模型复杂度:模型越复杂,越可能记住细节。
  • 数据不足:样本少、特征多时更容易过拟合。

入门版理解:模型记住了训练噪声,新数据表现变差。

适用范围和边界
1. 优先原则:先满足前提,再谈使用

在实际工程里,任何概念都不能脱离场景硬套。学习「过拟合」时,第一步不是问“它高级不高级”,而是问它是否真的能帮助你完成一个更清晰、更可验证的业务判断。

  • 先看它服务的专业判断是不是「基础判断」:把 AI 想法拆成数据、目标、指标和上线风险。
  • 训练、验证、测试要按时间、用户或场景隔离,不能互相泄漏。
  • 核心指标必须和业务动作绑定,不能只看一个平均分。
2. 引入边界:同时满足这些条件,才值得推进

只有当它能把问题从“凭感觉讨论”推进到“可设计、可评测、可复盘”时,才说明这个知识点真正进入了业务方案。

  • 当「过拟合」能改变投影设备体验、Android App 性能、用户反馈、日志归因、客服排障里的设计、评测或风险控制动作时,才值得进入方案。
  • 适合在模型验收、灰度上线、版本对比和线上运营时使用。
  • 适合判断模型是否真的能面对新用户、新机型、新版本和新问题。
3. 反向边界:这些情况先停下来

专业判断的价值,不只是知道什么时候用,更是知道什么时候不用。下面这些情况出现时,要先补数据、补流程、补权限或补评测,而不是继续堆 AI 能力。

  • 训练指标很好不能说明可上线,要看验证和测试。
  • 过拟合常被数据泄漏和样本重复掩盖。
  • 不要只用 Accuracy 判断异常、风险、严重故障这类低占比问题。
  • 不要用测试集反复调方案,测试集会失去最终验收意义。
  • 类别不均衡会让高 Accuracy 掩盖低 Recall。
4. 上线前判断:能回答这些问题再落地
  • 能画出混淆矩阵,并说明每种错法的业务代价。
  • 能按机型、版本、网络、问题类型分层看指标。
  • 现场追问:如果明天要把它放进真实 App 流程,你能不能说清数据从哪里来、结果谁验收、错了谁兜底?
架构师总结:过拟合是模型太会背题,不会做题。 对架构师来说,过拟合 不是一个要背的名词,而是一把判断尺:先看前提是否成立,再看收益是否大于复杂度,最后看失败时有没有证据、兜底和责任人。
通用例子:先脱离技术看懂它

考试前只背原题,原题全会,换个题型就不会,这就是过拟合的直观类比。

这个例子要看见的重点:把 AI 想法拆成数据、目标、指标和上线风险。 所以例子不是为了记故事,而是为了训练你在新场景里做同类判断。

投影 / Android 实战推演
  • 业务推演:投影 Android 场景里,如果模型只在几个测试机的日志上训练,它可能学会“某测试机编号=某故障”,但真实用户设备上完全无效。
  • 你要补的证据:围绕「基础判断」列出数据、文档、日志、用户反馈或人工标注,避免只凭感觉判断。
  • 可交付物:沉淀 场景判断表、数据字段表、评测指标和灰度上线规则。,让同事能照着复用,而不是只听你口头解释。
  • 验收指标:至少选一个质量指标、一个效率指标、一个风险指标;比如正确率/一次解决率、定位耗时/追问轮次、误导用户率/转人工率。
  • 迁移能力:同一套思路也能迁移到客服、测试、研发效率、运营分析和产品决策,不局限于投影业务。
老师会这样检查你是否真会了
  • 你能不能用一句人话解释「过拟合」,并说出它解决的是「基础判断」里的什么问题?
  • 你能不能举一个适用场景和一个不适用场景,并说明边界来自数据、流程、风险还是权限?
  • 你能不能把它落到一个真实小任务:输入是什么、输出是什么、验收指标是什么、失败时谁兜底?
  • 老师追问:如果明天要把它放进真实 App 流程,你能不能说清数据从哪里来、结果谁验收、错了谁兜底?
  • 练习产物:对比训练集、验证集、测试集分数。如果训练高很多、验证低很多,写出三个可能原因和一个改进动作。
精通标准:过拟合是模型太会背题,不会做题。 能精通的人,不是能背定义,而是能把它迁移到一个新业务里,写出判断表、数据要求、风险边界和落地动作。
业务判断方法

比较训练、验证、测试指标差距。

6. 数据分布变化

知识点讲解上线后的用户、渠道、规则和训练期不同,规律可能失效。

老师板书 数据分布变化 运营

AI 系统上线后,世界会继续变化,模型也要被管理。

先用人话讲明白

数据分布变化是上线后用户、设备、版本、环境和训练时不一样了,导致模型效果下降。AI 系统需要持续监控这种变化。

类比可以把它理解成把业务经验翻译成一张可训练、可验证的作业纸。

为什么要学识别世界变了以后模型为什么会变差。

把关键词拆开看
  • 用户变化:新用户群体和老用户行为不同。
  • 版本变化:App 或系统升级改变了日志和问题形态。
  • 环境变化:网络、设备、政策、业务策略改变。

入门版理解:上线后的用户、渠道、规则和训练期不同,规律可能失效。

适用范围和边界
1. 优先原则:先满足前提,再谈使用

在实际工程里,任何概念都不能脱离场景硬套。学习「数据分布变化」时,第一步不是问“它高级不高级”,而是问它是否真的能帮助你完成一个更清晰、更可验证的业务判断。

  • 先看它服务的专业判断是不是「运营」:识别世界变了以后模型为什么会变差。
  • 训练、验证、测试要按时间、用户或场景隔离,不能互相泄漏。
  • 核心指标必须和业务动作绑定,不能只看一个平均分。
2. 引入边界:同时满足这些条件,才值得推进

只有当它能把问题从“凭感觉讨论”推进到“可设计、可评测、可复盘”时,才说明这个知识点真正进入了业务方案。

  • 当「数据分布变化」能改变投影设备体验、Android App 性能、用户反馈、日志归因、客服排障里的设计、评测或风险控制动作时,才值得进入方案。
  • 适合在模型验收、灰度上线、版本对比和线上运营时使用。
  • 适合判断模型是否真的能面对新用户、新机型、新版本和新问题。
3. 反向边界:这些情况先停下来

专业判断的价值,不只是知道什么时候用,更是知道什么时候不用。下面这些情况出现时,要先补数据、补流程、补权限或补评测,而不是继续堆 AI 能力。

  • 模型上线后不监控分布,就无法知道它什么时候变差。
  • 不要用很久以前的数据评估现在的模型。
  • 不要只用 Accuracy 判断异常、风险、严重故障这类低占比问题。
  • 不要用测试集反复调方案,测试集会失去最终验收意义。
  • 类别不均衡会让高 Accuracy 掩盖低 Recall。
4. 上线前判断:能回答这些问题再落地
  • 能画出混淆矩阵,并说明每种错法的业务代价。
  • 能按机型、版本、网络、问题类型分层看指标。
  • 现场追问:如果明天要把它放进真实 App 流程,你能不能说清数据从哪里来、结果谁验收、错了谁兜底?
架构师总结:AI 系统上线后,世界会继续变化,模型也要被管理。 对架构师来说,数据分布变化 不是一个要背的名词,而是一把判断尺:先看前提是否成立,再看收益是否大于复杂度,最后看失败时有没有证据、兜底和责任人。
通用例子:先脱离技术看懂它

节假日用户行为、促销活动、系统改版都会让过去学到的规律变弱。

这个例子要看见的重点:识别世界变了以后模型为什么会变差。 所以例子不是为了记故事,而是为了训练你在新场景里做同类判断。

投影 / Android 实战推演
  • 业务推演:投影 Android 业务里,新固件上线、新投屏协议接入、播放器内核升级后,历史故障分类模型可能不再准确,因为错误码、堆栈和用户反馈都变了。
  • 你要补的证据:围绕「运营」列出数据、文档、日志、用户反馈或人工标注,避免只凭感觉判断。
  • 可交付物:沉淀 场景判断表、数据字段表、评测指标和灰度上线规则。,让同事能照着复用,而不是只听你口头解释。
  • 验收指标:至少选一个质量指标、一个效率指标、一个风险指标;比如正确率/一次解决率、定位耗时/追问轮次、误导用户率/转人工率。
  • 迁移能力:同一套思路也能迁移到客服、测试、研发效率、运营分析和产品决策,不局限于投影业务。
老师会这样检查你是否真会了
  • 你能不能用一句人话解释「数据分布变化」,并说出它解决的是「运营」里的什么问题?
  • 你能不能举一个适用场景和一个不适用场景,并说明边界来自数据、流程、风险还是权限?
  • 你能不能把它落到一个真实小任务:输入是什么、输出是什么、验收指标是什么、失败时谁兜底?
  • 老师追问:如果明天要把它放进真实 App 流程,你能不能说清数据从哪里来、结果谁验收、错了谁兜底?
  • 练习产物:列出你们 App 每次发版后最可能变化的 5 个字段,并设计监控阈值。
精通标准:AI 系统上线后,世界会继续变化,模型也要被管理。 能精通的人,不是能背定义,而是能把它迁移到一个新业务里,写出判断表、数据要求、风险边界和落地动作。
业务判断方法

业务变化越大,越需要灰度、监控和回滚。

学习产出

一页《团队 AI 场景筛选标准》

10 分钟练习

画出一个场景的训练集、验证集、测试集切分方式,优先按时间切。

老师怎么判断你学会了

提交作业交一份数据切分方案,并写出为什么这样切。

  • 合格能说明训练、验证、测试各自用途,并保证测试集不参与调参。
  • 优秀能按时间切分,主动检查泄漏和上线后分布变化。
  • 没通过用同一批数据反复训练、调参、汇报效果。
06 1-2 天

学会评估指标:准确率、召回率、精确率、F1、AUC

本步 6 个知识点
学习目标

能根据业务错判成本选择指标,而不是只汇报准确率。

先记这一句话

指标不是越高越好,而是要匹配业务最怕哪种错。

知识点清单与业务判断 先会用,再理解

1. 混淆矩阵

知识点讲解把预测结果分成真阳性、假阳性、真阴性、假阴性。

老师板书 混淆矩阵 基础判断

混淆矩阵让你从“准不准”升级到“错在哪里、代价多大”。

先用人话讲明白

混淆矩阵把分类结果拆成预测对和预测错的几种情况,让你看清楚模型错在哪里,而不是只看一个总分。

类比像错题本,不只看总分,还看错的是哪类题。

为什么要学把 AI 想法拆成数据、目标、指标和上线风险。

把关键词拆开看
  • TP:该报的报出来了。
  • FP:不该报却报了,产生误报成本。
  • FN:该报没报,产生漏报风险。

入门版理解:把预测结果分成真阳性、假阳性、真阴性、假阴性。

适用范围和边界
1. 优先原则:先满足前提,再谈使用

在实际工程里,任何概念都不能脱离场景硬套。学习「混淆矩阵」时,第一步不是问“它高级不高级”,而是问它是否真的能帮助你完成一个更清晰、更可验证的业务判断。

  • 先看它服务的专业判断是不是「基础判断」:把 AI 想法拆成数据、目标、指标和上线风险。
  • 训练、验证、测试要按时间、用户或场景隔离,不能互相泄漏。
  • 核心指标必须和业务动作绑定,不能只看一个平均分。
2. 引入边界:同时满足这些条件,才值得推进

只有当它能把问题从“凭感觉讨论”推进到“可设计、可评测、可复盘”时,才说明这个知识点真正进入了业务方案。

  • 当「混淆矩阵」能改变投影设备体验、Android App 性能、用户反馈、日志归因、客服排障里的设计、评测或风险控制动作时,才值得进入方案。
  • 适合在模型验收、灰度上线、版本对比和线上运营时使用。
  • 适合判断模型是否真的能面对新用户、新机型、新版本和新问题。
3. 反向边界:这些情况先停下来

专业判断的价值,不只是知道什么时候用,更是知道什么时候不用。下面这些情况出现时,要先补数据、补流程、补权限或补评测,而不是继续堆 AI 能力。

  • 只看 Accuracy 会隐藏 FP 和 FN 的差异。
  • 类别不均衡时,混淆矩阵比总分更重要。
  • 不要只用 Accuracy 判断异常、风险、严重故障这类低占比问题。
  • 不要用测试集反复调方案,测试集会失去最终验收意义。
  • 类别不均衡会让高 Accuracy 掩盖低 Recall。
4. 上线前判断:能回答这些问题再落地
  • 能画出混淆矩阵,并说明每种错法的业务代价。
  • 能按机型、版本、网络、问题类型分层看指标。
  • 现场追问:如果明天要把它放进真实 App 流程,你能不能说清数据从哪里来、结果谁验收、错了谁兜底?
架构师总结:混淆矩阵让你从“准不准”升级到“错在哪里、代价多大”。 对架构师来说,混淆矩阵 不是一个要背的名词,而是一把判断尺:先看前提是否成立,再看收益是否大于复杂度,最后看失败时有没有证据、兜底和责任人。
通用例子:先脱离技术看懂它

垃圾邮件识别中,把正常邮件误判为垃圾是 FP,把垃圾邮件放进收件箱是 FN,两种错法影响不同。

这个例子要看见的重点:把 AI 想法拆成数据、目标、指标和上线风险。 所以例子不是为了记故事,而是为了训练你在新场景里做同类判断。

投影 / Android 实战推演
  • 业务推演:投影 Android 场景里,严重播放故障识别中,FN 意味着用户继续遇到严重体验问题,FP 意味着研发或客服多处理一些误报。业务要决定更怕哪种错。
  • 你要补的证据:围绕「基础判断」列出数据、文档、日志、用户反馈或人工标注,避免只凭感觉判断。
  • 可交付物:沉淀 场景判断表、数据字段表、评测指标和灰度上线规则。,让同事能照着复用,而不是只听你口头解释。
  • 验收指标:至少选一个质量指标、一个效率指标、一个风险指标;比如正确率/一次解决率、定位耗时/追问轮次、误导用户率/转人工率。
  • 迁移能力:同一套思路也能迁移到客服、测试、研发效率、运营分析和产品决策,不局限于投影业务。
老师会这样检查你是否真会了
  • 你能不能用一句人话解释「混淆矩阵」,并说出它解决的是「基础判断」里的什么问题?
  • 你能不能举一个适用场景和一个不适用场景,并说明边界来自数据、流程、风险还是权限?
  • 你能不能把它落到一个真实小任务:输入是什么、输出是什么、验收指标是什么、失败时谁兜底?
  • 老师追问:如果明天要把它放进真实 App 流程,你能不能说清数据从哪里来、结果谁验收、错了谁兜底?
  • 练习产物:为一个“是否严重故障”的模型画 2x2 表,并写出每个格子对应的业务后果。
精通标准:混淆矩阵让你从“准不准”升级到“错在哪里、代价多大”。 能精通的人,不是能背定义,而是能把它迁移到一个新业务里,写出判断表、数据要求、风险边界和落地动作。
业务判断方法

先把四格翻译成业务后果。

2. Accuracy

知识点讲解预测正确比例,适合类别均衡、错误成本接近的场景。

老师板书 Accuracy 基础判断

Accuracy 简单,但不一定诚实。

先用人话讲明白

Accuracy 是预测正确的比例,直观但容易骗人。只有类别比较均衡、错法成本接近时,它才适合作为主要指标。

类比像只看平均分,容易掩盖关键科目不及格。

为什么要学把 AI 想法拆成数据、目标、指标和上线风险。

把关键词拆开看
  • 总正确率:所有预测中正确的占比。
  • 类别均衡:正负样本比例接近时更有参考价值。
  • 成本一致:各种错误代价类似时更适合用。

入门版理解:预测正确比例,适合类别均衡、错误成本接近的场景。

适用范围和边界
1. 优先原则:先满足前提,再谈使用

在实际工程里,任何概念都不能脱离场景硬套。学习「Accuracy」时,第一步不是问“它高级不高级”,而是问它是否真的能帮助你完成一个更清晰、更可验证的业务判断。

  • 先看它服务的专业判断是不是「基础判断」:把 AI 想法拆成数据、目标、指标和上线风险。
  • 训练、验证、测试要按时间、用户或场景隔离,不能互相泄漏。
  • 核心指标必须和业务动作绑定,不能只看一个平均分。
2. 引入边界:同时满足这些条件,才值得推进

只有当它能把问题从“凭感觉讨论”推进到“可设计、可评测、可复盘”时,才说明这个知识点真正进入了业务方案。

  • 当「Accuracy」能改变投影设备体验、Android App 性能、用户反馈、日志归因、客服排障里的设计、评测或风险控制动作时,才值得进入方案。
  • 适合在模型验收、灰度上线、版本对比和线上运营时使用。
  • 适合判断模型是否真的能面对新用户、新机型、新版本和新问题。
3. 反向边界:这些情况先停下来

专业判断的价值,不只是知道什么时候用,更是知道什么时候不用。下面这些情况出现时,要先补数据、补流程、补权限或补评测,而不是继续堆 AI 能力。

  • 异常检测、风险识别、严重故障识别不能只看 Accuracy。
  • 要配合 Recall、Precision、分层指标一起看。
  • 不要只用 Accuracy 判断异常、风险、严重故障这类低占比问题。
  • 不要用测试集反复调方案,测试集会失去最终验收意义。
  • 类别不均衡会让高 Accuracy 掩盖低 Recall。
4. 上线前判断:能回答这些问题再落地
  • 能画出混淆矩阵,并说明每种错法的业务代价。
  • 能按机型、版本、网络、问题类型分层看指标。
  • 现场追问:如果明天要把它放进真实 App 流程,你能不能说清数据从哪里来、结果谁验收、错了谁兜底?
架构师总结:Accuracy 简单,但不一定诚实。 对架构师来说,Accuracy 不是一个要背的名词,而是一把判断尺:先看前提是否成立,再看收益是否大于复杂度,最后看失败时有没有证据、兜底和责任人。
通用例子:先脱离技术看懂它

如果 99% 的样本都是正常,模型全部预测正常也有 99% Accuracy,但它完全抓不到异常。

这个例子要看见的重点:把 AI 想法拆成数据、目标、指标和上线风险。 所以例子不是为了记故事,而是为了训练你在新场景里做同类判断。

投影 / Android 实战推演
  • 业务推演:投影 Android 业务里,如果严重故障只占 2%,一个模型全部预测“非严重”也能得到 98% Accuracy,但对用户体验和研发排障没有价值。
  • 你要补的证据:围绕「基础判断」列出数据、文档、日志、用户反馈或人工标注,避免只凭感觉判断。
  • 可交付物:沉淀 场景判断表、数据字段表、评测指标和灰度上线规则。,让同事能照着复用,而不是只听你口头解释。
  • 验收指标:至少选一个质量指标、一个效率指标、一个风险指标;比如正确率/一次解决率、定位耗时/追问轮次、误导用户率/转人工率。
  • 迁移能力:同一套思路也能迁移到客服、测试、研发效率、运营分析和产品决策,不局限于投影业务。
老师会这样检查你是否真会了
  • 你能不能用一句人话解释「Accuracy」,并说出它解决的是「基础判断」里的什么问题?
  • 你能不能举一个适用场景和一个不适用场景,并说明边界来自数据、流程、风险还是权限?
  • 你能不能把它落到一个真实小任务:输入是什么、输出是什么、验收指标是什么、失败时谁兜底?
  • 老师追问:如果明天要把它放进真实 App 流程,你能不能说清数据从哪里来、结果谁验收、错了谁兜底?
  • 练习产物:找一个类别不均衡场景,计算“全预测多数类”的 Accuracy,并解释为什么这个分数没有业务价值。
精通标准:Accuracy 简单,但不一定诚实。 能精通的人,不是能背定义,而是能把它迁移到一个新业务里,写出判断表、数据要求、风险边界和落地动作。
业务判断方法

类别极不均衡时不要只看准确率。

3. Precision

知识点讲解报出来的正例里有多少是真的。

老师板书 Precision 基础判断

Precision 回答的是:模型一旦报警,值得信吗?

先用人话讲明白

Precision 看模型报出来的正例里有多少是真的。它适合误报成本高的场景,因为它关注“别乱报”。

类比像报警器别乱响,响了就要可信。

为什么要学把 AI 想法拆成数据、目标、指标和上线风险。

把关键词拆开看
  • 报得准:预测为正的样本中真实为正的比例。
  • 误报成本:误报越贵,越要关注 Precision。
  • 阈值影响:提高阈值通常能提升 Precision,但可能降低 Recall。

入门版理解:报出来的正例里有多少是真的。

适用范围和边界
1. 优先原则:先满足前提,再谈使用

在实际工程里,任何概念都不能脱离场景硬套。学习「Precision」时,第一步不是问“它高级不高级”,而是问它是否真的能帮助你完成一个更清晰、更可验证的业务判断。

  • 先看它服务的专业判断是不是「基础判断」:把 AI 想法拆成数据、目标、指标和上线风险。
  • 训练、验证、测试要按时间、用户或场景隔离,不能互相泄漏。
  • 核心指标必须和业务动作绑定,不能只看一个平均分。
2. 引入边界:同时满足这些条件,才值得推进

只有当它能把问题从“凭感觉讨论”推进到“可设计、可评测、可复盘”时,才说明这个知识点真正进入了业务方案。

  • 当「Precision」能改变投影设备体验、Android App 性能、用户反馈、日志归因、客服排障里的设计、评测或风险控制动作时,才值得进入方案。
  • 适合在模型验收、灰度上线、版本对比和线上运营时使用。
  • 适合判断模型是否真的能面对新用户、新机型、新版本和新问题。
3. 反向边界:这些情况先停下来

专业判断的价值,不只是知道什么时候用,更是知道什么时候不用。下面这些情况出现时,要先补数据、补流程、补权限或补评测,而不是继续堆 AI 能力。

  • Precision 高不代表没有漏掉问题。
  • 如果过度追求 Precision,可能只敢报最明显的问题。
  • 不要只用 Accuracy 判断异常、风险、严重故障这类低占比问题。
  • 不要用测试集反复调方案,测试集会失去最终验收意义。
  • 类别不均衡会让高 Accuracy 掩盖低 Recall。
4. 上线前判断:能回答这些问题再落地
  • 能画出混淆矩阵,并说明每种错法的业务代价。
  • 能按机型、版本、网络、问题类型分层看指标。
  • 现场追问:如果明天要把它放进真实 App 流程,你能不能说清数据从哪里来、结果谁验收、错了谁兜底?
架构师总结:Precision 回答的是:模型一旦报警,值得信吗? 对架构师来说,Precision 不是一个要背的名词,而是一把判断尺:先看前提是否成立,再看收益是否大于复杂度,最后看失败时有没有证据、兜底和责任人。
通用例子:先脱离技术看懂它

如果系统标记 100 条违规内容,其中 90 条真违规,Precision 就是 90%。

这个例子要看见的重点:把 AI 想法拆成数据、目标、指标和上线风险。 所以例子不是为了记故事,而是为了训练你在新场景里做同类判断。

投影 / Android 实战推演
  • 业务推演:投影 Android 场景里,如果模型自动创建高优先级故障单,Precision 低会让研发被大量误报打扰。因此高优工单场景更看重 Precision。
  • 你要补的证据:围绕「基础判断」列出数据、文档、日志、用户反馈或人工标注,避免只凭感觉判断。
  • 可交付物:沉淀 场景判断表、数据字段表、评测指标和灰度上线规则。,让同事能照着复用,而不是只听你口头解释。
  • 验收指标:至少选一个质量指标、一个效率指标、一个风险指标;比如正确率/一次解决率、定位耗时/追问轮次、误导用户率/转人工率。
  • 迁移能力:同一套思路也能迁移到客服、测试、研发效率、运营分析和产品决策,不局限于投影业务。
老师会这样检查你是否真会了
  • 你能不能用一句人话解释「Precision」,并说出它解决的是「基础判断」里的什么问题?
  • 你能不能举一个适用场景和一个不适用场景,并说明边界来自数据、流程、风险还是权限?
  • 你能不能把它落到一个真实小任务:输入是什么、输出是什么、验收指标是什么、失败时谁兜底?
  • 老师追问:如果明天要把它放进真实 App 流程,你能不能说清数据从哪里来、结果谁验收、错了谁兜底?
  • 练习产物:写出一个误报成本高的 AI 场景,并说明 Precision 低会浪费谁的时间或造成什么风险。
精通标准:Precision 回答的是:模型一旦报警,值得信吗? 能精通的人,不是能背定义,而是能把它迁移到一个新业务里,写出判断表、数据要求、风险边界和落地动作。
业务判断方法

人工处理成本高、误报伤体验时优先。

4. Recall

知识点讲解真实正例里有多少被找出来。

老师板书 Recall 基础判断

Recall 回答的是:真正有问题的,有多少没被你漏掉?

先用人话讲明白

Recall 看真实正例里有多少被模型找出来。它适合漏报成本高的场景,因为它关注“别漏掉”。

类比像安全巡检别漏掉真正危险的点。

为什么要学把 AI 想法拆成数据、目标、指标和上线风险。

把关键词拆开看
  • 找得全:真实正例中被成功识别的比例。
  • 漏报成本:漏掉越危险,越要关注 Recall。
  • 阈值取舍:降低阈值通常能提高 Recall,但会带来更多误报。

入门版理解:真实正例里有多少被找出来。

适用范围和边界
1. 优先原则:先满足前提,再谈使用

在实际工程里,任何概念都不能脱离场景硬套。学习「Recall」时,第一步不是问“它高级不高级”,而是问它是否真的能帮助你完成一个更清晰、更可验证的业务判断。

  • 先看它服务的专业判断是不是「基础判断」:把 AI 想法拆成数据、目标、指标和上线风险。
  • 训练、验证、测试要按时间、用户或场景隔离,不能互相泄漏。
  • 核心指标必须和业务动作绑定,不能只看一个平均分。
2. 引入边界:同时满足这些条件,才值得推进

只有当它能把问题从“凭感觉讨论”推进到“可设计、可评测、可复盘”时,才说明这个知识点真正进入了业务方案。

  • 当「Recall」能改变投影设备体验、Android App 性能、用户反馈、日志归因、客服排障里的设计、评测或风险控制动作时,才值得进入方案。
  • 适合在模型验收、灰度上线、版本对比和线上运营时使用。
  • 适合判断模型是否真的能面对新用户、新机型、新版本和新问题。
3. 反向边界:这些情况先停下来

专业判断的价值,不只是知道什么时候用,更是知道什么时候不用。下面这些情况出现时,要先补数据、补流程、补权限或补评测,而不是继续堆 AI 能力。

  • Recall 高可能意味着误报很多,需要人工或二级模型过滤。
  • 不能只看 Recall,否则系统可能把所有样本都报成异常。
  • 不要只用 Accuracy 判断异常、风险、严重故障这类低占比问题。
  • 不要用测试集反复调方案,测试集会失去最终验收意义。
  • 类别不均衡会让高 Accuracy 掩盖低 Recall。
4. 上线前判断:能回答这些问题再落地
  • 能画出混淆矩阵,并说明每种错法的业务代价。
  • 能按机型、版本、网络、问题类型分层看指标。
  • 现场追问:如果明天要把它放进真实 App 流程,你能不能说清数据从哪里来、结果谁验收、错了谁兜底?
架构师总结:Recall 回答的是:真正有问题的,有多少没被你漏掉? 对架构师来说,Recall 不是一个要背的名词,而是一把判断尺:先看前提是否成立,再看收益是否大于复杂度,最后看失败时有没有证据、兜底和责任人。
通用例子:先脱离技术看懂它

100 个真实风险用户里模型找出 85 个,Recall 就是 85%。

这个例子要看见的重点:把 AI 想法拆成数据、目标、指标和上线风险。 所以例子不是为了记故事,而是为了训练你在新场景里做同类判断。

投影 / Android 实战推演
  • 业务推演:投影 Android 业务里,如果要发现大面积播放失败、支付异常、升级后崩溃,漏报会影响大量用户,此时 Recall 比 Precision 更重要。
  • 你要补的证据:围绕「基础判断」列出数据、文档、日志、用户反馈或人工标注,避免只凭感觉判断。
  • 可交付物:沉淀 场景判断表、数据字段表、评测指标和灰度上线规则。,让同事能照着复用,而不是只听你口头解释。
  • 验收指标:至少选一个质量指标、一个效率指标、一个风险指标;比如正确率/一次解决率、定位耗时/追问轮次、误导用户率/转人工率。
  • 迁移能力:同一套思路也能迁移到客服、测试、研发效率、运营分析和产品决策,不局限于投影业务。
老师会这样检查你是否真会了
  • 你能不能用一句人话解释「Recall」,并说出它解决的是「基础判断」里的什么问题?
  • 你能不能举一个适用场景和一个不适用场景,并说明边界来自数据、流程、风险还是权限?
  • 你能不能把它落到一个真实小任务:输入是什么、输出是什么、验收指标是什么、失败时谁兜底?
  • 老师追问:如果明天要把它放进真实 App 流程,你能不能说清数据从哪里来、结果谁验收、错了谁兜底?
  • 练习产物:选一个“漏掉很严重”的场景,写出你愿意接受多少误报来换取更高 Recall。
精通标准:Recall 回答的是:真正有问题的,有多少没被你漏掉? 能精通的人,不是能背定义,而是能把它迁移到一个新业务里,写出判断表、数据要求、风险边界和落地动作。
业务判断方法

漏判成本高的安全、风控、故障场景优先。

5. F1 与 AUC

知识点讲解F1 平衡精确率和召回率,AUC 看整体区分能力。

老师板书 F1 与 AUC 基础判断

F1 和 AUC 帮你比较模型,但不能替你做业务决策。

先用人话讲明白

F1 是 Precision 和 Recall 的综合,适合两者都重要时比较模型;AUC 看模型整体区分正负样本的能力,适合评估排序质量。

类比可以把它理解成把业务经验翻译成一张可训练、可验证的作业纸。

为什么要学把 AI 想法拆成数据、目标、指标和上线风险。

把关键词拆开看
  • F1:Precision 和 Recall 的平衡分数。
  • AUC:随机抽一正一负,模型把正样本排更前的概率倾向。
  • 业务阈值:分数只是比较工具,最终还要选业务阈值。

入门版理解:F1 平衡精确率和召回率,AUC 看整体区分能力。

适用范围和边界
1. 优先原则:先满足前提,再谈使用

在实际工程里,任何概念都不能脱离场景硬套。学习「F1 与 AUC」时,第一步不是问“它高级不高级”,而是问它是否真的能帮助你完成一个更清晰、更可验证的业务判断。

  • 先看它服务的专业判断是不是「基础判断」:把 AI 想法拆成数据、目标、指标和上线风险。
  • 训练、验证、测试要按时间、用户或场景隔离,不能互相泄漏。
  • 核心指标必须和业务动作绑定,不能只看一个平均分。
2. 引入边界:同时满足这些条件,才值得推进

只有当它能把问题从“凭感觉讨论”推进到“可设计、可评测、可复盘”时,才说明这个知识点真正进入了业务方案。

  • 当「F1 与 AUC」能改变投影设备体验、Android App 性能、用户反馈、日志归因、客服排障里的设计、评测或风险控制动作时,才值得进入方案。
  • 适合在模型验收、灰度上线、版本对比和线上运营时使用。
  • 适合判断模型是否真的能面对新用户、新机型、新版本和新问题。
3. 反向边界:这些情况先停下来

专业判断的价值,不只是知道什么时候用,更是知道什么时候不用。下面这些情况出现时,要先补数据、补流程、补权限或补评测,而不是继续堆 AI 能力。

  • F1 会掩盖误报和漏报的业务差异。
  • AUC 高不代表某个阈值下就一定可用。
  • 不要只用 Accuracy 判断异常、风险、严重故障这类低占比问题。
  • 不要用测试集反复调方案,测试集会失去最终验收意义。
  • 类别不均衡会让高 Accuracy 掩盖低 Recall。
4. 上线前判断:能回答这些问题再落地
  • 能画出混淆矩阵,并说明每种错法的业务代价。
  • 能按机型、版本、网络、问题类型分层看指标。
  • 现场追问:如果明天要把它放进真实 App 流程,你能不能说清数据从哪里来、结果谁验收、错了谁兜底?
架构师总结:F1 和 AUC 帮你比较模型,但不能替你做业务决策。 对架构师来说,F1 与 AUC 不是一个要背的名词,而是一把判断尺:先看前提是否成立,再看收益是否大于复杂度,最后看失败时有没有证据、兜底和责任人。
通用例子:先脱离技术看懂它

两个模型 Accuracy 都差不多时,F1 和 AUC 可以帮助判断谁更适合风险识别。

这个例子要看见的重点:把 AI 想法拆成数据、目标、指标和上线风险。 所以例子不是为了记故事,而是为了训练你在新场景里做同类判断。

投影 / Android 实战推演
  • 业务推演:投影 Android 场景里,故障风险模型可以先用 AUC 判断排序能力,再根据客服或研发承载量选择阈值,最后用 Precision/Recall/F1 看实际触发效果。
  • 你要补的证据:围绕「基础判断」列出数据、文档、日志、用户反馈或人工标注,避免只凭感觉判断。
  • 可交付物:沉淀 场景判断表、数据字段表、评测指标和灰度上线规则。,让同事能照着复用,而不是只听你口头解释。
  • 验收指标:至少选一个质量指标、一个效率指标、一个风险指标;比如正确率/一次解决率、定位耗时/追问轮次、误导用户率/转人工率。
  • 迁移能力:同一套思路也能迁移到客服、测试、研发效率、运营分析和产品决策,不局限于投影业务。
老师会这样检查你是否真会了
  • 你能不能用一句人话解释「F1 与 AUC」,并说出它解决的是「基础判断」里的什么问题?
  • 你能不能举一个适用场景和一个不适用场景,并说明边界来自数据、流程、风险还是权限?
  • 你能不能把它落到一个真实小任务:输入是什么、输出是什么、验收指标是什么、失败时谁兜底?
  • 老师追问:如果明天要把它放进真实 App 流程,你能不能说清数据从哪里来、结果谁验收、错了谁兜底?
  • 练习产物:对同一个模型列出 AUC、F1、Precision、Recall,并写出最终上线更看哪个,为什么。
精通标准:F1 和 AUC 帮你比较模型,但不能替你做业务决策。 能精通的人,不是能背定义,而是能把它迁移到一个新业务里,写出判断表、数据要求、风险边界和落地动作。
业务判断方法

未定阈值看 AUC,定动作后回到业务成本。

6. 阈值

知识点讲解分数多高才触发动作,决定精确率和召回率平衡。

老师板书 阈值 基础判断

阈值是模型分数和业务动作之间的闸门。

先用人话讲明白

阈值是把模型分数变成业务动作的开关。模型给概率,业务决定多少分以上报警、拦截、推荐或人工复核。

类比像闸门,分数到了哪一档才触发哪种动作。

为什么要学把 AI 想法拆成数据、目标、指标和上线风险。

把关键词拆开看
  • 触发点:分数达到多少才执行动作。
  • 资源约束:人工处理能力会限制阈值选择。
  • 风险偏好:更怕漏报还是更怕误报,会改变阈值。

入门版理解:分数多高才触发动作,决定精确率和召回率平衡。

适用范围和边界
1. 优先原则:先满足前提,再谈使用

在实际工程里,任何概念都不能脱离场景硬套。学习「阈值」时,第一步不是问“它高级不高级”,而是问它是否真的能帮助你完成一个更清晰、更可验证的业务判断。

  • 先看它服务的专业判断是不是「基础判断」:把 AI 想法拆成数据、目标、指标和上线风险。
  • 训练、验证、测试要按时间、用户或场景隔离,不能互相泄漏。
  • 核心指标必须和业务动作绑定,不能只看一个平均分。
2. 引入边界:同时满足这些条件,才值得推进

只有当它能把问题从“凭感觉讨论”推进到“可设计、可评测、可复盘”时,才说明这个知识点真正进入了业务方案。

  • 当「阈值」能改变投影设备体验、Android App 性能、用户反馈、日志归因、客服排障里的设计、评测或风险控制动作时,才值得进入方案。
  • 适合在模型验收、灰度上线、版本对比和线上运营时使用。
  • 适合判断模型是否真的能面对新用户、新机型、新版本和新问题。
3. 反向边界:这些情况先停下来

专业判断的价值,不只是知道什么时候用,更是知道什么时候不用。下面这些情况出现时,要先补数据、补流程、补权限或补评测,而不是继续堆 AI 能力。

  • 阈值不是技术人员单独决定的,要结合业务成本和承载量。
  • 上线后阈值要根据真实反馈调整。
  • 不要只用 Accuracy 判断异常、风险、严重故障这类低占比问题。
  • 不要用测试集反复调方案,测试集会失去最终验收意义。
  • 类别不均衡会让高 Accuracy 掩盖低 Recall。
4. 上线前判断:能回答这些问题再落地
  • 能画出混淆矩阵,并说明每种错法的业务代价。
  • 能按机型、版本、网络、问题类型分层看指标。
  • 现场追问:如果明天要把它放进真实 App 流程,你能不能说清数据从哪里来、结果谁验收、错了谁兜底?
架构师总结:阈值是模型分数和业务动作之间的闸门。 对架构师来说,阈值 不是一个要背的名词,而是一把判断尺:先看前提是否成立,再看收益是否大于复杂度,最后看失败时有没有证据、兜底和责任人。
通用例子:先脱离技术看懂它

风险分超过 0.8 才人工复核,超过 0.95 直接拦截,就是不同阈值对应不同动作。

这个例子要看见的重点:把 AI 想法拆成数据、目标、指标和上线风险。 所以例子不是为了记故事,而是为了训练你在新场景里做同类判断。

投影 / Android 实战推演
  • 业务推演:投影 Android 业务里,故障概率超过 0.6 可以展示自助排障,超过 0.8 创建客服工单,超过 0.9 通知研发值班,这样阈值就和业务流程绑定了。
  • 你要补的证据:围绕「基础判断」列出数据、文档、日志、用户反馈或人工标注,避免只凭感觉判断。
  • 可交付物:沉淀 场景判断表、数据字段表、评测指标和灰度上线规则。,让同事能照着复用,而不是只听你口头解释。
  • 验收指标:至少选一个质量指标、一个效率指标、一个风险指标;比如正确率/一次解决率、定位耗时/追问轮次、误导用户率/转人工率。
  • 迁移能力:同一套思路也能迁移到客服、测试、研发效率、运营分析和产品决策,不局限于投影业务。
老师会这样检查你是否真会了
  • 你能不能用一句人话解释「阈值」,并说出它解决的是「基础判断」里的什么问题?
  • 你能不能举一个适用场景和一个不适用场景,并说明边界来自数据、流程、风险还是权限?
  • 你能不能把它落到一个真实小任务:输入是什么、输出是什么、验收指标是什么、失败时谁兜底?
  • 老师追问:如果明天要把它放进真实 App 流程,你能不能说清数据从哪里来、结果谁验收、错了谁兜底?
  • 练习产物:设计三档阈值:提醒用户、自助排障、人工介入,并说明每档的误报和漏报代价。
精通标准:阈值是模型分数和业务动作之间的闸门。 能精通的人,不是能背定义,而是能把它迁移到一个新业务里,写出判断表、数据要求、风险边界和落地动作。
业务判断方法

按动作成本设计阈值,最好多档处理。

学习产出

一页《团队 AI 场景筛选标准》

10 分钟练习

拿一个场景写两种错:漏判会怎样?误判会怎样?然后选主指标。

老师怎么判断你学会了

提交作业交一张指标选择表:漏判成本、误判成本、主指标、辅助指标、阈值策略。

  • 合格能根据错判成本选择召回率、精确率、F1 或 AUC。
  • 优秀能说明阈值调整如何影响业务动作,并设计至少 2 档策略。
  • 没通过只汇报准确率,无法解释漏判和误判的业务后果。
07 1 天

把模型落到业务:上线、监控、人工兜底

本步 6 个知识点
学习目标

能把模型方案转成可上线、可监控、可回滚、有人兜底的机制。

先记这一句话

AI 上线不是结束,而是开始负责结果。

知识点清单与业务判断 先会用,再理解

1. 上线门槛

知识点讲解生产前必须达到的离线指标、业务指标、稳定性和风险要求。

老师板书 上线门槛 基础判断

上线门槛是保护用户和团队的最后一道门。

先用人话讲明白

上线门槛是 AI 能进入真实流程前必须达到的条件,包括指标、覆盖范围、失败兜底、监控和回滚。它防止“演示很好看”的模型直接影响用户。

类比可以把它理解成把业务经验翻译成一张可训练、可验证的作业纸。

为什么要学把 AI 想法拆成数据、目标、指标和上线风险。

把关键词拆开看
  • 指标门槛:核心指标和分层指标必须达标。
  • 流程门槛:失败时有人接手,有回滚方案。
  • 影响范围:先灰度、再扩大,不一次性全量。

入门版理解:生产前必须达到的离线指标、业务指标、稳定性和风险要求。

适用范围和边界
1. 优先原则:先满足前提,再谈使用

在实际工程里,任何概念都不能脱离场景硬套。学习「上线门槛」时,第一步不是问“它高级不高级”,而是问它是否真的能帮助你完成一个更清晰、更可验证的业务判断。

  • 先看它服务的专业判断是不是「基础判断」:把 AI 想法拆成数据、目标、指标和上线风险。
  • 训练、验证、测试要按时间、用户或场景隔离,不能互相泄漏。
  • 核心指标必须和业务动作绑定,不能只看一个平均分。
2. 引入边界:同时满足这些条件,才值得推进

只有当它能把问题从“凭感觉讨论”推进到“可设计、可评测、可复盘”时,才说明这个知识点真正进入了业务方案。

  • 当「上线门槛」能改变投影设备体验、Android App 性能、用户反馈、日志归因、客服排障里的设计、评测或风险控制动作时,才值得进入方案。
  • 适合在模型验收、灰度上线、版本对比和线上运营时使用。
  • 适合判断模型是否真的能面对新用户、新机型、新版本和新问题。
3. 反向边界:这些情况先停下来

专业判断的价值,不只是知道什么时候用,更是知道什么时候不用。下面这些情况出现时,要先补数据、补流程、补权限或补评测,而不是继续堆 AI 能力。

  • 只通过平均指标不够,关键设备和高风险场景也要通过。
  • 没有监控和回滚,不算真正具备上线条件。
  • 不要只用 Accuracy 判断异常、风险、严重故障这类低占比问题。
  • 不要用测试集反复调方案,测试集会失去最终验收意义。
  • 类别不均衡会让高 Accuracy 掩盖低 Recall。
4. 上线前判断:能回答这些问题再落地
  • 能画出混淆矩阵,并说明每种错法的业务代价。
  • 能按机型、版本、网络、问题类型分层看指标。
  • 现场追问:如果明天要把它放进真实 App 流程,你能不能说清数据从哪里来、结果谁验收、错了谁兜底?
架构师总结:上线门槛是保护用户和团队的最后一道门。 对架构师来说,上线门槛 不是一个要背的名词,而是一把判断尺:先看前提是否成立,再看收益是否大于复杂度,最后看失败时有没有证据、兜底和责任人。
通用例子:先脱离技术看懂它

一个客服机器人上线前,不仅要回答准确,还要知道不会时拒答、转人工、记录日志。

这个例子要看见的重点:把 AI 想法拆成数据、目标、指标和上线风险。 所以例子不是为了记故事,而是为了训练你在新场景里做同类判断。

投影 / Android 实战推演
  • 业务推演:投影 Android 场景里,AI 故障助手上线前要验证不同机型、版本、网络下的效果;如果给出错误排障建议,要能让用户快速转人工或提交日志。
  • 你要补的证据:围绕「基础判断」列出数据、文档、日志、用户反馈或人工标注,避免只凭感觉判断。
  • 可交付物:沉淀 场景判断表、数据字段表、评测指标和灰度上线规则。,让同事能照着复用,而不是只听你口头解释。
  • 验收指标:至少选一个质量指标、一个效率指标、一个风险指标;比如正确率/一次解决率、定位耗时/追问轮次、误导用户率/转人工率。
  • 迁移能力:同一套思路也能迁移到客服、测试、研发效率、运营分析和产品决策,不局限于投影业务。
老师会这样检查你是否真会了
  • 你能不能用一句人话解释「上线门槛」,并说出它解决的是「基础判断」里的什么问题?
  • 你能不能举一个适用场景和一个不适用场景,并说明边界来自数据、流程、风险还是权限?
  • 你能不能把它落到一个真实小任务:输入是什么、输出是什么、验收指标是什么、失败时谁兜底?
  • 老师追问:如果明天要把它放进真实 App 流程,你能不能说清数据从哪里来、结果谁验收、错了谁兜底?
  • 练习产物:写一份上线检查表:通过指标、灰度范围、失败处理、日志字段、回滚按钮、负责人。
精通标准:上线门槛是保护用户和团队的最后一道门。 能精通的人,不是能背定义,而是能把它迁移到一个新业务里,写出判断表、数据要求、风险边界和落地动作。
业务判断方法

把“效果不错”改成具体门槛。

2. 线上监控

知识点讲解监控输入、输出、错误率、人工改判率、延迟和业务指标。

老师板书 线上监控 基础判断

线上监控让 AI 从一次性交付变成可持续系统。

先用人话讲明白

线上监控是持续观察 AI 系统在真实环境中的表现,包括效果、延迟、成本、失败率、用户反馈和数据分布。上线不是结束,而是运营开始。

类比可以把它理解成把业务经验翻译成一张可训练、可验证的作业纸。

为什么要学把 AI 想法拆成数据、目标、指标和上线风险。

把关键词拆开看
  • 效果监控:准确率、采纳率、投诉率等。
  • 系统监控:延迟、错误、超时、成本。
  • 分布监控:输入数据是否和训练时不同。

入门版理解:监控输入、输出、错误率、人工改判率、延迟和业务指标。

适用范围和边界
1. 优先原则:先满足前提,再谈使用

在实际工程里,任何概念都不能脱离场景硬套。学习「线上监控」时,第一步不是问“它高级不高级”,而是问它是否真的能帮助你完成一个更清晰、更可验证的业务判断。

  • 先看它服务的专业判断是不是「基础判断」:把 AI 想法拆成数据、目标、指标和上线风险。
  • 训练、验证、测试要按时间、用户或场景隔离,不能互相泄漏。
  • 核心指标必须和业务动作绑定,不能只看一个平均分。
2. 引入边界:同时满足这些条件,才值得推进

只有当它能把问题从“凭感觉讨论”推进到“可设计、可评测、可复盘”时,才说明这个知识点真正进入了业务方案。

  • 当「线上监控」能改变投影设备体验、Android App 性能、用户反馈、日志归因、客服排障里的设计、评测或风险控制动作时,才值得进入方案。
  • 适合在模型验收、灰度上线、版本对比和线上运营时使用。
  • 适合判断模型是否真的能面对新用户、新机型、新版本和新问题。
3. 反向边界:这些情况先停下来

专业判断的价值,不只是知道什么时候用,更是知道什么时候不用。下面这些情况出现时,要先补数据、补流程、补权限或补评测,而不是继续堆 AI 能力。

  • 只监控服务可用,不监控回答质量,会错过业务劣化。
  • 只看总体指标,会掩盖某个机型或地区的问题。
  • 不要只用 Accuracy 判断异常、风险、严重故障这类低占比问题。
  • 不要用测试集反复调方案,测试集会失去最终验收意义。
  • 类别不均衡会让高 Accuracy 掩盖低 Recall。
4. 上线前判断:能回答这些问题再落地
  • 能画出混淆矩阵,并说明每种错法的业务代价。
  • 能按机型、版本、网络、问题类型分层看指标。
  • 现场追问:如果明天要把它放进真实 App 流程,你能不能说清数据从哪里来、结果谁验收、错了谁兜底?
架构师总结:线上监控让 AI 从一次性交付变成可持续系统。 对架构师来说,线上监控 不是一个要背的名词,而是一把判断尺:先看前提是否成立,再看收益是否大于复杂度,最后看失败时有没有证据、兜底和责任人。
通用例子:先脱离技术看懂它

一个推荐系统上线后要看点击率、转化率、用户投诉和异常流量,而不是只看离线指标。

这个例子要看见的重点:把 AI 想法拆成数据、目标、指标和上线风险。 所以例子不是为了记故事,而是为了训练你在新场景里做同类判断。

投影 / Android 实战推演
  • 业务推演:投影 Android 业务里,AI 助手要监控每个版本、机型、网络类型下的解答成功率、转人工率、用户是否重复提交同类问题。
  • 你要补的证据:围绕「基础判断」列出数据、文档、日志、用户反馈或人工标注,避免只凭感觉判断。
  • 可交付物:沉淀 场景判断表、数据字段表、评测指标和灰度上线规则。,让同事能照着复用,而不是只听你口头解释。
  • 验收指标:至少选一个质量指标、一个效率指标、一个风险指标;比如正确率/一次解决率、定位耗时/追问轮次、误导用户率/转人工率。
  • 迁移能力:同一套思路也能迁移到客服、测试、研发效率、运营分析和产品决策,不局限于投影业务。
老师会这样检查你是否真会了
  • 你能不能用一句人话解释「线上监控」,并说出它解决的是「基础判断」里的什么问题?
  • 你能不能举一个适用场景和一个不适用场景,并说明边界来自数据、流程、风险还是权限?
  • 你能不能把它落到一个真实小任务:输入是什么、输出是什么、验收指标是什么、失败时谁兜底?
  • 老师追问:如果明天要把它放进真实 App 流程,你能不能说清数据从哪里来、结果谁验收、错了谁兜底?
  • 练习产物:设计一个看板,至少包含效果、成本、延迟、失败类型、机型分层和版本分层。
精通标准:线上监控让 AI 从一次性交付变成可持续系统。 能精通的人,不是能背定义,而是能把它迁移到一个新业务里,写出判断表、数据要求、风险边界和落地动作。
业务判断方法

为核心指标设报警阈值和负责人。

3. 人工兜底

知识点讲解处理高风险、低置信度或模型无法判断的样本。

老师板书 人工兜底 基础判断

好的 AI 系统知道什么时候停下来请人接手。

先用人话讲明白

人工兜底是当 AI 不确定、失败、越权或影响较大时,由人接管判断和处理。它不是 AI 的失败,而是可靠系统的一部分。

类比可以把它理解成把业务经验翻译成一张可训练、可验证的作业纸。

为什么要学把 AI 想法拆成数据、目标、指标和上线风险。

把关键词拆开看
  • 不确定转人工:低置信度或缺资料时不要硬答。
  • 高风险确认:涉及支付、账号、隐私、删除等动作要人确认。
  • 反馈闭环:人工处理结果要回流改进模型。

入门版理解:处理高风险、低置信度或模型无法判断的样本。

适用范围和边界
1. 优先原则:先满足前提,再谈使用

在实际工程里,任何概念都不能脱离场景硬套。学习「人工兜底」时,第一步不是问“它高级不高级”,而是问它是否真的能帮助你完成一个更清晰、更可验证的业务判断。

  • 先看它服务的专业判断是不是「基础判断」:把 AI 想法拆成数据、目标、指标和上线风险。
  • 训练、验证、测试要按时间、用户或场景隔离,不能互相泄漏。
  • 核心指标必须和业务动作绑定,不能只看一个平均分。
2. 引入边界:同时满足这些条件,才值得推进

只有当它能把问题从“凭感觉讨论”推进到“可设计、可评测、可复盘”时,才说明这个知识点真正进入了业务方案。

  • 当「人工兜底」能改变投影设备体验、Android App 性能、用户反馈、日志归因、客服排障里的设计、评测或风险控制动作时,才值得进入方案。
  • 适合在模型验收、灰度上线、版本对比和线上运营时使用。
  • 适合判断模型是否真的能面对新用户、新机型、新版本和新问题。
3. 反向边界:这些情况先停下来

专业判断的价值,不只是知道什么时候用,更是知道什么时候不用。下面这些情况出现时,要先补数据、补流程、补权限或补评测,而不是继续堆 AI 能力。

  • 没有兜底会让小错误放大成用户事故。
  • 人工兜底也要有 SLA,否则用户只是从 AI 等到人工。
  • 不要只用 Accuracy 判断异常、风险、严重故障这类低占比问题。
  • 不要用测试集反复调方案,测试集会失去最终验收意义。
  • 类别不均衡会让高 Accuracy 掩盖低 Recall。
4. 上线前判断:能回答这些问题再落地
  • 能画出混淆矩阵,并说明每种错法的业务代价。
  • 能按机型、版本、网络、问题类型分层看指标。
  • 现场追问:如果明天要把它放进真实 App 流程,你能不能说清数据从哪里来、结果谁验收、错了谁兜底?
架构师总结:好的 AI 系统知道什么时候停下来请人接手。 对架构师来说,人工兜底 不是一个要背的名词,而是一把判断尺:先看前提是否成立,再看收益是否大于复杂度,最后看失败时有没有证据、兜底和责任人。
通用例子:先脱离技术看懂它

客服机器人无法确认用户身份时转人工,比继续猜测更可靠。

这个例子要看见的重点:把 AI 想法拆成数据、目标、指标和上线风险。 所以例子不是为了记故事,而是为了训练你在新场景里做同类判断。

投影 / Android 实战推演
  • 业务推演:投影 Android 场景里,AI 可以建议用户重启网络或收集日志,但涉及恢复出厂设置、账号解绑、付费权益处理时,必须有人确认或提供明确风险提示。
  • 你要补的证据:围绕「基础判断」列出数据、文档、日志、用户反馈或人工标注,避免只凭感觉判断。
  • 可交付物:沉淀 场景判断表、数据字段表、评测指标和灰度上线规则。,让同事能照着复用,而不是只听你口头解释。
  • 验收指标:至少选一个质量指标、一个效率指标、一个风险指标;比如正确率/一次解决率、定位耗时/追问轮次、误导用户率/转人工率。
  • 迁移能力:同一套思路也能迁移到客服、测试、研发效率、运营分析和产品决策,不局限于投影业务。
老师会这样检查你是否真会了
  • 你能不能用一句人话解释「人工兜底」,并说出它解决的是「基础判断」里的什么问题?
  • 你能不能举一个适用场景和一个不适用场景,并说明边界来自数据、流程、风险还是权限?
  • 你能不能把它落到一个真实小任务:输入是什么、输出是什么、验收指标是什么、失败时谁兜底?
  • 老师追问:如果明天要把它放进真实 App 流程,你能不能说清数据从哪里来、结果谁验收、错了谁兜底?
  • 练习产物:列出哪些 AI 输出可以直接展示,哪些需要人工审核,哪些必须禁止自动执行。
精通标准:好的 AI 系统知道什么时候停下来请人接手。 能精通的人,不是能背定义,而是能把它迁移到一个新业务里,写出判断表、数据要求、风险边界和落地动作。
业务判断方法

明确哪些场景必须人审,反馈如何回流。

4. 模型漂移

知识点讲解上线后数据或业务规律变化,过去模式不再适用。

老师板书 模型漂移 运营

模型会过期,AI 系统必须有保养机制。

先用人话讲明白

模型漂移是模型效果随着时间下降,可能因为数据分布、用户行为、业务策略或外部环境变化。它要求我们定期评估和更新。

类比可以把它理解成把业务经验翻译成一张可训练、可验证的作业纸。

为什么要学管理上线后效果随时间下降的问题。

把关键词拆开看
  • 数据漂移:输入特征分布变了。
  • 概念漂移:同样输入对应的结果含义变了。
  • 性能漂移:线上指标开始持续下降。

入门版理解:上线后数据或业务规律变化,过去模式不再适用。

适用范围和边界
1. 优先原则:先满足前提,再谈使用

在实际工程里,任何概念都不能脱离场景硬套。学习「模型漂移」时,第一步不是问“它高级不高级”,而是问它是否真的能帮助你完成一个更清晰、更可验证的业务判断。

  • 先看它服务的专业判断是不是「运营」:管理上线后效果随时间下降的问题。
  • 训练、验证、测试要按时间、用户或场景隔离,不能互相泄漏。
  • 核心指标必须和业务动作绑定,不能只看一个平均分。
2. 引入边界:同时满足这些条件,才值得推进

只有当它能把问题从“凭感觉讨论”推进到“可设计、可评测、可复盘”时,才说明这个知识点真正进入了业务方案。

  • 当「模型漂移」能改变投影设备体验、Android App 性能、用户反馈、日志归因、客服排障里的设计、评测或风险控制动作时,才值得进入方案。
  • 适合在模型验收、灰度上线、版本对比和线上运营时使用。
  • 适合判断模型是否真的能面对新用户、新机型、新版本和新问题。
3. 反向边界:这些情况先停下来

专业判断的价值,不只是知道什么时候用,更是知道什么时候不用。下面这些情况出现时,要先补数据、补流程、补权限或补评测,而不是继续堆 AI 能力。

  • 漂移不是一次 bug,而是持续系统管理问题。
  • 没有版本化评测集和线上监控,很难发现漂移。
  • 不要只用 Accuracy 判断异常、风险、严重故障这类低占比问题。
  • 不要用测试集反复调方案,测试集会失去最终验收意义。
  • 类别不均衡会让高 Accuracy 掩盖低 Recall。
4. 上线前判断:能回答这些问题再落地
  • 能画出混淆矩阵,并说明每种错法的业务代价。
  • 能按机型、版本、网络、问题类型分层看指标。
  • 现场追问:如果明天要把它放进真实 App 流程,你能不能说清数据从哪里来、结果谁验收、错了谁兜底?
架构师总结:模型会过期,AI 系统必须有保养机制。 对架构师来说,模型漂移 不是一个要背的名词,而是一把判断尺:先看前提是否成立,再看收益是否大于复杂度,最后看失败时有没有证据、兜底和责任人。
通用例子:先脱离技术看懂它

诈骗手法变化后,老反欺诈模型效果下降,就是典型漂移。

这个例子要看见的重点:管理上线后效果随时间下降的问题。 所以例子不是为了记故事,而是为了训练你在新场景里做同类判断。

投影 / Android 实战推演
  • 业务推演:投影 Android 业务里,新固件改变错误码、新播放器内核改变日志结构、新投屏协议改变连接流程,都会让旧模型不再理解新问题。
  • 你要补的证据:围绕「运营」列出数据、文档、日志、用户反馈或人工标注,避免只凭感觉判断。
  • 可交付物:沉淀 场景判断表、数据字段表、评测指标和灰度上线规则。,让同事能照着复用,而不是只听你口头解释。
  • 验收指标:至少选一个质量指标、一个效率指标、一个风险指标;比如正确率/一次解决率、定位耗时/追问轮次、误导用户率/转人工率。
  • 迁移能力:同一套思路也能迁移到客服、测试、研发效率、运营分析和产品决策,不局限于投影业务。
老师会这样检查你是否真会了
  • 你能不能用一句人话解释「模型漂移」,并说出它解决的是「运营」里的什么问题?
  • 你能不能举一个适用场景和一个不适用场景,并说明边界来自数据、流程、风险还是权限?
  • 你能不能把它落到一个真实小任务:输入是什么、输出是什么、验收指标是什么、失败时谁兜底?
  • 老师追问:如果明天要把它放进真实 App 流程,你能不能说清数据从哪里来、结果谁验收、错了谁兜底?
  • 练习产物:设置每周检查:关键字段分布、模型命中率、人工纠错率、失败类型是否和上周明显不同。
精通标准:模型会过期,AI 系统必须有保养机制。 能精通的人,不是能背定义,而是能把它迁移到一个新业务里,写出判断表、数据要求、风险边界和落地动作。
业务判断方法

大促、改版、策略调整后安排复盘和再训练。

5. 公平性

知识点讲解模型可能对某些人群产生不公平影响。

老师板书 公平性 治理

公平性让 AI 不只对平均用户好,也要照顾被平均数遮住的人。

先用人话讲明白

公平性是检查模型是否对不同用户群体、设备群体、地区或场景产生不合理差异。它不只适用于社会议题,也适用于产品体验。

类比可以把它理解成把业务经验翻译成一张可训练、可验证的作业纸。

为什么要学防止平均指标掩盖某些用户或设备群体体验很差。

把关键词拆开看
  • 群体差异:不同群体的错误率是否明显不同。
  • 样本覆盖:少数群体是否训练样本不足。
  • 业务责任:差异是否会造成不合理损害。

入门版理解:模型可能对某些人群产生不公平影响。

适用范围和边界
1. 优先原则:先满足前提,再谈使用

在实际工程里,任何概念都不能脱离场景硬套。学习「公平性」时,第一步不是问“它高级不高级”,而是问它是否真的能帮助你完成一个更清晰、更可验证的业务判断。

  • 先看它服务的专业判断是不是「治理」:防止平均指标掩盖某些用户或设备群体体验很差。
  • 训练、验证、测试要按时间、用户或场景隔离,不能互相泄漏。
  • 核心指标必须和业务动作绑定,不能只看一个平均分。
2. 引入边界:同时满足这些条件,才值得推进

只有当它能把问题从“凭感觉讨论”推进到“可设计、可评测、可复盘”时,才说明这个知识点真正进入了业务方案。

  • 当「公平性」能改变投影设备体验、Android App 性能、用户反馈、日志归因、客服排障里的设计、评测或风险控制动作时,才值得进入方案。
  • 适合在模型验收、灰度上线、版本对比和线上运营时使用。
  • 适合判断模型是否真的能面对新用户、新机型、新版本和新问题。
3. 反向边界:这些情况先停下来

专业判断的价值,不只是知道什么时候用,更是知道什么时候不用。下面这些情况出现时,要先补数据、补流程、补权限或补评测,而不是继续堆 AI 能力。

  • 总体指标达标不代表每个群体都达标。
  • 公平性不一定要求所有群体指标完全一样,但要解释差异并降低不合理损害。
  • 不要只用 Accuracy 判断异常、风险、严重故障这类低占比问题。
  • 不要用测试集反复调方案,测试集会失去最终验收意义。
  • 类别不均衡会让高 Accuracy 掩盖低 Recall。
4. 上线前判断:能回答这些问题再落地
  • 能画出混淆矩阵,并说明每种错法的业务代价。
  • 能按机型、版本、网络、问题类型分层看指标。
  • 现场追问:如果明天要把它放进真实 App 流程,你能不能说清数据从哪里来、结果谁验收、错了谁兜底?
架构师总结:公平性让 AI 不只对平均用户好,也要照顾被平均数遮住的人。 对架构师来说,公平性 不是一个要背的名词,而是一把判断尺:先看前提是否成立,再看收益是否大于复杂度,最后看失败时有没有证据、兜底和责任人。
通用例子:先脱离技术看懂它

语音识别对某些口音识别更差,就是产品公平性问题。

这个例子要看见的重点:防止平均指标掩盖某些用户或设备群体体验很差。 所以例子不是为了记故事,而是为了训练你在新场景里做同类判断。

投影 / Android 实战推演
  • 业务推演:投影 Android 场景里,模型如果只在高端设备上效果好,对低端设备、旧系统、弱网用户频繁给错建议,也是不公平的体验分配。
  • 你要补的证据:围绕「治理」列出数据、文档、日志、用户反馈或人工标注,避免只凭感觉判断。
  • 可交付物:沉淀 场景判断表、数据字段表、评测指标和灰度上线规则。,让同事能照着复用,而不是只听你口头解释。
  • 验收指标:至少选一个质量指标、一个效率指标、一个风险指标;比如正确率/一次解决率、定位耗时/追问轮次、误导用户率/转人工率。
  • 迁移能力:同一套思路也能迁移到客服、测试、研发效率、运营分析和产品决策,不局限于投影业务。
老师会这样检查你是否真会了
  • 你能不能用一句人话解释「公平性」,并说出它解决的是「治理」里的什么问题?
  • 你能不能举一个适用场景和一个不适用场景,并说明边界来自数据、流程、风险还是权限?
  • 你能不能把它落到一个真实小任务:输入是什么、输出是什么、验收指标是什么、失败时谁兜底?
  • 老师追问:如果明天要把它放进真实 App 流程,你能不能说清数据从哪里来、结果谁验收、错了谁兜底?
  • 练习产物:把模型效果按设备档位、系统版本、地区、网络类型分层,找出最差的一层并写改进计划。
精通标准:公平性让 AI 不只对平均用户好,也要照顾被平均数遮住的人。 能精通的人,不是能背定义,而是能把它迁移到一个新业务里,写出判断表、数据要求、风险边界和落地动作。
业务判断方法

按关键人群拆指标,检查误伤和漏判。

6. 可解释性

知识点讲解帮助业务理解模型为什么这样判断。

老师板书 可解释性 基础判断

可解释性让 AI 结果从“看起来对”变成“能被人负责地采用”。

先用人话讲明白

可解释性是让人理解模型为什么给出某个判断,至少能知道主要依据、可信程度和限制。它不是让黑盒完全透明,而是让业务能负责地使用结果。

类比可以把它理解成把业务经验翻译成一张可训练、可验证的作业纸。

为什么要学把 AI 想法拆成数据、目标、指标和上线风险。

把关键词拆开看
  • 局部解释:解释某一次预测为什么这样。
  • 全局解释:解释模型整体依赖哪些因素。
  • 可行动:解释要能帮助人做下一步,而不是只给技术术语。

入门版理解:帮助业务理解模型为什么这样判断。

适用范围和边界
1. 优先原则:先满足前提,再谈使用

在实际工程里,任何概念都不能脱离场景硬套。学习「可解释性」时,第一步不是问“它高级不高级”,而是问它是否真的能帮助你完成一个更清晰、更可验证的业务判断。

  • 先看它服务的专业判断是不是「基础判断」:把 AI 想法拆成数据、目标、指标和上线风险。
  • 训练目标已经明确,知道模型应该优化什么、不能只看什么。
  • 有固定验证集,调参和改特征不能只靠主观感受。
2. 引入边界:同时满足这些条件,才值得推进

只有当它能把问题从“凭感觉讨论”推进到“可设计、可评测、可复盘”时,才说明这个知识点真正进入了业务方案。

  • 当「可解释性」能改变投影设备体验、Android App 性能、用户反馈、日志归因、客服排障里的设计、评测或风险控制动作时,才值得进入方案。
  • 适合解释模型为什么会从数据中学到规律,而不是人工写规则。
  • 适合在模型效果不稳定、误报漏报成本不同、需要调参时使用。
3. 反向边界:这些情况先停下来

专业判断的价值,不只是知道什么时候用,更是知道什么时候不用。下面这些情况出现时,要先补数据、补流程、补权限或补评测,而不是继续堆 AI 能力。

  • 解释不等于因果证明,不能把相关因素当根因。
  • 涉及用户权益和人工处理时,解释必须更谨慎、更可审计。
  • 不要把参数或特征重要性直接解释成因果关系。
  • 不要在没有评测集的情况下反复调超参数。
  • 过度调参会把验证集也调穿,真实上线不一定变好。
4. 上线前判断:能回答这些问题再落地
  • 能说明当前最重要的错误类型是什么,以及训练目标如何体现它。
  • 能记录每次调参前后指标、失败样本和业务影响。
  • 现场追问:如果明天要把它放进真实 App 流程,你能不能说清数据从哪里来、结果谁验收、错了谁兜底?
架构师总结:可解释性让 AI 结果从“看起来对”变成“能被人负责地采用”。 对架构师来说,可解释性 不是一个要背的名词,而是一把判断尺:先看前提是否成立,再看收益是否大于复杂度,最后看失败时有没有证据、兜底和责任人。
通用例子:先脱离技术看懂它

风控模型提示“近期异常交易次数、登录地点变化、设备更换”是主要原因,比只给一个 0.87 风险分更可用。

这个例子要看见的重点:把 AI 想法拆成数据、目标、指标和上线风险。 所以例子不是为了记故事,而是为了训练你在新场景里做同类判断。

投影 / Android 实战推演
  • 业务推演:投影 Android 场景里,故障归因模型不能只说“高概率是播放问题”,还要说明依据:某版本、首帧时间异常、同类设备近期反馈增加、日志中出现特定错误码。
  • 你要补的证据:围绕「基础判断」列出数据、文档、日志、用户反馈或人工标注,避免只凭感觉判断。
  • 可交付物:沉淀 场景判断表、数据字段表、评测指标和灰度上线规则。,让同事能照着复用,而不是只听你口头解释。
  • 验收指标:至少选一个质量指标、一个效率指标、一个风险指标;比如正确率/一次解决率、定位耗时/追问轮次、误导用户率/转人工率。
  • 迁移能力:同一套思路也能迁移到客服、测试、研发效率、运营分析和产品决策,不局限于投影业务。
老师会这样检查你是否真会了
  • 你能不能用一句人话解释「可解释性」,并说出它解决的是「基础判断」里的什么问题?
  • 你能不能举一个适用场景和一个不适用场景,并说明边界来自数据、流程、风险还是权限?
  • 你能不能把它落到一个真实小任务:输入是什么、输出是什么、验收指标是什么、失败时谁兜底?
  • 老师追问:如果明天要把它放进真实 App 流程,你能不能说清数据从哪里来、结果谁验收、错了谁兜底?
  • 练习产物:选一个模型输出,要求它同时给结论、证据、置信度、可能误判点和建议下一步。
精通标准:可解释性让 AI 结果从“看起来对”变成“能被人负责地采用”。 能精通的人,不是能背定义,而是能把它迁移到一个新业务里,写出判断表、数据要求、风险边界和落地动作。
业务判断方法

高风险决策需要重要特征、案例解释和复核路径。

学习产出

一页《团队 AI 场景筛选标准》

10 分钟练习

给一个 AI 场景写 5 个上线问题:指标、监控、负责人、回滚、复盘。

老师怎么判断你学会了

提交作业交一页上线检查表:门槛、监控、报警、人审、回滚、复盘频率。

  • 合格能列出上线前门槛、上线后监控和出问题后的负责人。
  • 优秀能考虑漂移、公平性、可解释性和反馈回流,形成闭环。
  • 没通过只说“效果不错可以上线”,没有监控、报警、人审或回滚方案。
系统资料

这些资料用于深挖原理。先完成本页作业,再去看资料,效率会高很多。