我做了一个 AI 私教 Skill：从“想认真学 Redis“到 Skill Lift +275% 的完整复盘

我做了一个 AI 私教 Skill从想认真学 Redis到 Skill Lift 275% 的完整复盘我的收藏夹里躺着 137 篇Redis 从入门到精通。它们的共同归宿是收藏那天翻开第 1 节然后在某个周二之后再也没有打开过。ChatGPT 出来之后我又试了一种新学法对它说教我学 Redis。它很热情——30 秒甩给我一份五区块大纲然后不等我点头就开始讲缓存穿透。讲得不错真的。但我听了三天就弃了因为我不知道自己在哪、不知道学完没有、换个窗口又得从头再来。那一刻我意识到我不缺知识来源我缺一个教练。于是就有了这个项目。这是「AI Agent 工程实践」专栏的引流复盘篇。前几篇一直在拆解它——评估方法学、硬约束协议、双文档续接、动态模块池——这篇用第一人称讲讲它从无到有的完整过程为什么做、踩了什么坑、数字是怎么来的、以及你怎么 10 秒拥有它。TL;DR 速览讲什么一个 AI 私教 Skill 的三幕剧——全量测试全绿 → 真人试玩翻车 → 修复后再翻车核心结论自动化测试全绿 ≠ 产品能用唯一解药是试玩 → 改协议不打补丁→ 定向回归闭环三个关键数字3 轮回归 2 处协议自洽缺陷当场修复 Skill Lift275%适合谁独立开发者或正把第一个AI 产品当宝贝的人一、缘起三种学法的三种死法做这个项目之前我认真分析过为什么学了就废学法死法收藏教程/专栏没有进度感——永远从入门开始不知道自己在哪放弃成本极低问 AI教我学 XX没有流程——不摸底就开讲不确认就加速讲完不管你会不会窗口一关全剧终培训班不便宜——且内容固定不管你什么基础、什么目标三种死法的共同根因知识是现成的但教学流程是缺失的。诊断、定路线、确认后开课、验收、复盘、续接——这些才是教练值钱的地方而这恰恰是可以被协议化的。于是目标定了做一个 Agent Skill让任何 LLM Agent 变成一位大厂架构师私教——你说我想学 Redis它先摸底、再和你协商路线、你点头才开课、每节课有量化验收、窗口关了能从文件无损续接。二、核心信念LLM 不缺知识缺的是流程动手写第一行代码其实是第一行 Markdown之前我先做了一个思想实验它决定了整个项目的架构同一个顶级模型裸奔和带上 Skill在教学场景下差多少后来这个思想实验成了正式的评估with_skill vs without_skill 的 A/B 对照。实测结果比我想的还极端裸助手自评式提问“几年经验”、五区块目录式大纲、零确认直接开讲——量规打分4/15带 Skill场景化诊断、14 模块动态模块池、确认门禁死守——15/15Skill Lift275%。注意一个细节裸助手把 Redis 看门狗机制讲得准确而流畅。它不是不会是没人告诉它该怎么教。275% 的 Lift 来自流程结构化、可验收、可交接而非知识量。这句话是我整个项目最重要的心得Prompt Engineering 的下半场不是问得更好而是把流程写成协议。三、开发实录三幕剧每一幕都被现实打脸第一幕写出 11 份协议全量测试 11/11 全绿Skill 的最终形态是 1 份常驻入口SKILL.md 10 份按需加载的协议文件诊断协议、模块池生成协议、协商协议、会话管理、讲解确认……全部遵循 Anthropic Agent Skills 规范核心创新是技术栈无关的动态模块池——Skill 里不预置任何教学内容学员说学什么都现场生成 8–14 个分层模块这套设计的细节见专栏第 4 篇。写完之后我没有直接宣布成功而是设计了 11 个测试剧本E1–E11 7 条量规R1–R7用多 Subagent 独立批跑做评估——包括两个专门搞事情的攻防剧本E10学员说你先讲一点试试讲得好我就确认——模拟真实用户最常见的绕门禁话术E11学员说别诊断了我口头说一下我要学啥直接开课吧——模拟不耐烦用户。结果11/11 通过R3 硬否决零穿透R7 跨会话一致性 100%。E10 里教练的回答让我自己都想给它点赞“但’先讲一段再决定’这条路我这边不开放。”评估方法学的完整拆解见专栏第 1 篇。第二幕全绿之后真人试玩当场翻车如果你以为故事到这里就结束了那就太天真了——自动化测试全绿 ≠ 产品能用这是我学到的第二课。v0.1.0 发布前我亲手试玩立刻发现一个测试没抓到的问题诊断阶段 AI 会一次性抛出一大串摸底问题——“① 你用过 Redis 吗② 用过哪些数据结构③ 知道缓存穿透吗④ 你的目标是⑤ 每天能学多久”——问卷式轰炸用户看晕。评估为什么没抓到因为量规只规定了要摸底没规定一轮问几个。测试覆盖不到的维度就是产品翻车的维度。修复方式值得说不是加一句请不要一次问多个问题的软引导而是新增§1.4 硬约束红线每次回复最多 1 问绝对禁止问卷式重构诊断协议为五维固定优先级单问commitdcaf7bf然后定向回归重跑 6 个受影响场景。回归又抓出两个协议自洽性缺陷摸底协议的示例题本身就是双问句“这个问题叫什么你会怎么防”、协议 §7 写缺失项一次性确认诱导合并提问——示例和红线字面打架。当场修复。第三幕修完提问又发现讲完就当学会第二轮试玩暴露了第三个问题比前两个更隐蔽教练讲完一个概念学员回个嗯它就标已完成往下走了。这就是传统课堂最经典的假象——“老师讲完 学生学会”。修复方式是新增讲解确认协议commitbad4022SKILL.md§1.6 红线两态区分“已讲解” ≠ “已完成”学员复述/举例/提问确认理解后才算完三档判断✅ 理解到位 / ⚠️ 部分理解 / ❌ 没理解分别对应登记/补充/换讲法学员的好结论口诀、类比、踩坑落盘成 NOTES.md 笔记落盘前征询学员确认防自旋连续 2 轮答不上来就换讲法绝不第三次追问同一个问题。原量规里没有一条覆盖讲解确认所以我新写了 4 个剧本T1–T4裸嗯/复述部分对/复述正确/连续答错做第三轮回归——18/18 自检全部通过三档判断 ✅⚠️❌ 各有场景验证。这两轮修复在仓库里是两条 commitdcaf7bf、bad4022改动全部落在协议文件没有一条是输出层补丁dcaf7bf 新增一轮一问红线 诊断协议五维单问重构 ← 修问卷式提问 bad4022 新增讲解确认协议 SKILL.md §1.6 红线 ← 修讲完当学会三幕剧走完我形成了一个方法论信仰协议腐化和代码腐化一样不可避免唯一的解药是真人试玩 → 改协议不打补丁→ 定向回归的闭环。测试报告里的每一轮回归记录都比11/11 通过这个结论本身更值钱。四、最终成绩单考察项门槛实测E1–E5 诊断协商≥ 20/25✅ 满分或近满分E6/E7 不触发边界100%✅ 100%SETNX 怎么用不误触发私教流程学 Photoshop礼貌拒答E9–E11 门禁攻防通过✅ 零穿透R7 跨会话一致性≥ 70%✅100%同输入两次生成 14 模块完全一致真实教学执行—✅ R44.75/5R54.67/5产物真实落盘汇总 Skill Lift≥ 50%✅275%五、它用起来是什么感觉一句话触发剩下交给流程你说会发生什么“我想学 Kafka”场景化诊断摸底 → 动态生成模块池 → 协商路线 →你确认后才开课“继续学 Redis”新窗口自动读交接文档五检查后接着上次进度教“ES 面试下周冲刺一下”识别时间压力路线自动向考点压缩“SETNX 怎么用”不触发——普通问答处理不会强启教学流程教学本身走六步走场景引入 → 概念解释 → 原理简述 → 编码落地 → 量化验证压测/Lighthouse 达标才算过→ 面试连环追问。所有课程代码堆在同一个项目里学完你得到的是一套可复用的技术中间件模块不是一脑子好像学过。六、开源以及一个请求项目完全开源MITgithub.com/JiaqiChen3518/tech-stack-architect-coach支持 Claude Code / Codex / Cursor 等任何兼容 SKILL.md 规范的平台一行命令安装npx skillsaddJiaqiChen3518/tech-stack-architect-coach如果你正在学 Redis、Kafka、MySQL、ES、Vue……或者单纯想研究Agent Skill 怎么写才靠谱附带了完整的评估基准 E1–E11 和 2.5 万字测试报告都欢迎来逛逛。一个请求如果这个项目对你有用或者这篇文章对你有启发去 GitHub 点个 ⭐——对一个独立开发者来说星星就是续命的咖啡。也欢迎提 Issue 和 PR尤其是你在别的技术栈上试出生成效果不佳的模块池——README 里写了贡献原则优先改进协议和范例不要加特例。七、写在最后回到开头的 137 篇收藏夹。这个项目没能解决人类为什么坚持不下来的全部问题但它至少解决了三件确定性的事路线是为你生成的、进度是有文件记账的、学会是有量化验收的。剩下的坚持还是得你自己来——但至少现在你有一位不会嫌你笨、不会跳步骤、记得你三个窗口前干过什么的教练了。 系列导航AI Agent 工程实践专栏第 1 篇如何科学地评估一个 AI AgentSkill Lift 275% 全记录第 2 篇协议化 Prompt 设计Markdown 硬约束第 3 篇Agent 跨窗口状态续接CONTEXT.md TRACE.md 双文档模式第 4 篇如何设计通用型Agent Skill动态模块池 vs 预置内容第 5 篇什么是 Agent SkillAnthropic Skills 规范拆解入门第 6 篇项目整体介绍与上手本篇第 7 篇产品向复盘——从想认真学 Redis到 Skill Lift 275%第 8 篇场景化诊断设计让摸底题戳破半瓶水第 9 篇Agent 的自旋检测与优雅退场你用过 AI 辅助学习吗踩过什么坑如果你的收藏夹里也有137 篇 Redis评论区报个到 觉得这个项目有意思欢迎点赞 收藏更欢迎去 GitHub 点个 ⭐——下一专栏见。