两个月AI辅助学习实战：从单次问答到Agent编排的三层架构

1. 两个月AI辅助学习的真实体感从玩具到工具的转变说实话两个月前我对AI辅助学习这件事的态度是能用但别指望太多。那时候我的用法很简单——遇到不懂的概念丢给模型问一句写东西卡壳了让它给个开头查资料懒得翻文档就让它总结一段。这种用法不能说没用但总感觉隔了一层像请了个什么都懂一点但什么都不精的临时工问一句答一句你不问它就干坐着。真正让我改变看法的是我开始把AI当成一个有状态的协作对象而不是问答机器。这个转变听起来很虚但落到操作上非常具体我开始给它喂上下文、给它定角色、给它分阶段任务、给它留记忆。两个月下来我整理了一套自己用得比较顺的方法也踩了不少坑这篇就把这些东西摊开讲讲。先明确一下这篇适合谁看。如果你是完全没用过AI辅助学习的新手这篇能帮你少走弯路直接跳到怎么用而不是能不能用如果你已经用了一段时间但感觉效率上不去这篇里关于上下文管理、任务拆解和结果校验的部分应该对你有用如果你是做开发的想自己搭一套辅助学习的流程那关于API调用、Token控制和Agent编排的内容会更贴你的需求。核心关键词先摆出来AI辅助学习、Agent、LLM、Token、API。这五个词基本覆盖了我这两个月所有的心得。下面我按整体思路—核心细节—实操过程—问题排查的顺序展开每一块都会给具体的做法和参数不玩虚的。2. 整体思路为什么我把AI辅助学习拆成了三层2.1 从单次问答到三层结构的演进逻辑一开始我的用法是单次问答打开对话框输入问题拿答案关掉。这种模式的问题在于每次对话都是冷启动模型不知道我是谁、在学什么、之前聊过什么。你可能会说不是有上下文窗口吗对但上下文窗口是有限的而且你不可能每次都把之前所有对话粘进去。我试过一段时间把历史记录手动粘贴结果就是Token消耗爆炸而且模型容易被无关信息干扰。后来我想明白了AI辅助学习本质上是一个信息管理问题不是模型能力问题。模型再强你给它的信息是乱的输出就是乱的。于是我把它拆成了三层第一层是知识层我学的东西本身包括概念、原理、案例、代码。这一层的关键是结构化不能是一堆散乱的笔记。第二层是交互层我怎么跟模型对话包括提示词、角色设定、追问策略。这一层的关键是可复用好的提示词要能存下来反复用。第三层是工具层我用什么工具来承载前两层包括对话界面、API调用、Agent编排。这一层的关键是自动化能脚本化的绝不手动。这三层不是拍脑袋分的是我在实际操作中慢慢摸索出来的。最开始我只关注第二层觉得提示词写好了就行。后来发现知识层不整理提示词再好也是无源之水。再后来发现工具层不自动化每次都要手动操作效率上不去。2.2 为什么选择分层而不是一体化有人可能会问为什么不直接用一个全能工具搞定所有事我的答案是目前没有这样的工具而且短期内也不会有。原因很简单学习这件事太个性化每个人的知识结构、学习节奏、目标都不一样通用工具只能覆盖通用需求。分层的好处是每一层可以独立优化。知识层我可以换笔记软件交互层我可以换提示词模板工具层我可以换API提供商互不影响。如果一体化换一个就得全换迁移成本太高。举个具体例子。我知识层用的是本地Markdown文件加一个简单的索引交互层用的是自己攒的一套提示词模板工具层用的是Python脚本调API。这三层之间通过文件系统解耦知识层输出的是标准Markdown交互层读Markdown生成提示词工具层调API拿结果写回Markdown。任何一层出问题其他两层照常工作。2.3 这套结构解决了什么问题最直接的问题是重复劳动。以前我每次问模型都要重新描述背景现在背景在知识层里提示词模板自动读取。以前我查过的资料过两天就忘了现在知识层里有记录模型可以基于记录回答。第二个问题是结果不可控。单次问答的输出质量波动很大同样的提示词今天好用明天可能就不好用。分层之后我可以在交互层做A/B测试同一批问题用不同提示词跑看哪个稳定。第三个问题是规模上不去。手动问答一天能处理的问题量有限分层之后工具层可以批量处理我睡觉的时候脚本还在跑。提示分层不是目的是手段。如果你的学习量不大单次问答完全够用没必要为了分层而分层。分层适合的是那种每天要处理大量信息、需要长期积累、希望自动化的场景。3. 核心细节解析Token、上下文与提示词的三重博弈3.1 Token不是越多越好上下文窗口的经济学Token这个词大家都不陌生但真正理解它的人不多。简单说Token是模型处理文本的最小单位一个中文字大概1到2个Token一个英文单词大概1到1.5个Token。模型的上下文窗口就是它能一次性处理的Token上限比如常见的8K、32K、128K现在有些模型能到1M。我踩过的第一个大坑就是无脑塞上下文。刚开始我觉得上下文窗口越大越好把能塞的都塞进去结果发现模型反而变笨了。后来查资料才明白这叫上下文稀释——当上下文里无关信息太多时模型对关键信息的注意力会被分散。我的解决方案是分层上下文层级内容Token占比更新频率系统层角色设定、输出格式要求5%很少变背景层当前学习主题的核心概念20%每周更新任务层当前具体问题、相关案例50%每次对话缓冲层预留空间给模型输出25%固定这个比例不是固定的但思路是系统层和背景层要精简任务层要具体缓冲层要留够。我试过把背景层压到10%任务层提到60%效果反而更好因为模型有更多空间处理具体问题。还有一个细节是Token计费。如果你用APIToken是花钱的。我算过一笔账如果每天处理100个问题每个问题平均消耗2000 Token输入加500 Token输出按某主流模型的价格一个月大概几十块钱。这个成本对个人学习来说完全可以接受但如果你要批量处理几千个文档成本就会上去。注意不同模型的Token计算方式不一样中文和英文的比例也不一样。做成本估算时一定要用实际文本测一下别拍脑袋。3.2 提示词的本质是信息压缩很多人把提示词当成咒语觉得写得越玄乎效果越好。我的理解是提示词的本质是信息压缩——你要用最少的Token把最关键的约束传递给模型。一个好的提示词应该包含四个要素角色模型扮演什么身份。比如你是一个有十年经验的Python工程师。任务具体要做什么。比如帮我审查这段代码的性能问题。约束输出格式、长度、风格。比如用列表输出每条不超过50字。示例给一两个输入输出样例。这个最有效但最耗Token。我试过很多提示词模板最后留下来的是一个很朴素的版本角色{role} 背景{context} 任务{task} 约束{constraints} 示例{examples}这个模板的好处是结构清晰模型容易理解。坏处是每次都要填比较麻烦。所以我把它做成了脚本从知识层自动读取背景从配置文件读取角色和约束只需要手动填任务。关于示例我的经验是一两个就够多了反而干扰。而且示例要选典型的不要选边角案例。我试过给五个示例结果模型开始模仿示例的措辞而不是理解任务本身。3.3 Agent不是万能药什么时候该用什么时候不该用Agent这个词最近很火但很多人对它的理解有偏差。简单说Agent就是让模型自己决定下一步做什么而不是你一步步告诉它。比如你给它一个任务帮我整理这份文档它会自己决定先读文档、再提取要点、再分类、再输出。我试过用Agent做学习辅助结论是Agent适合流程固定的重复任务不适合需要灵活判断的探索任务。适合Agent的场景批量文档摘要给一堆PDF让Agent逐个读取、摘要、分类。代码审查给一个代码库让Agent逐个文件检查常见问题。资料整理给一堆链接让Agent抓取内容、提取要点、去重。不适合Agent的场景概念学习你需要跟模型来回讨论Agent的自主性反而碍事。创意写作你需要不断调整方向Agent容易跑偏。复杂决策你需要权衡多个因素Agent的决策逻辑不透明。我用Agent做过一次批量文档摘要20个PDF每个大概10页。Agent跑了大概半小时输出了一份摘要列表。质量嘛及格但不出彩有些摘要抓错了重点有些漏了关键信息。后来我改成半自动Agent先跑一遍我人工过一遍把错的标出来再让Agent针对性地重做。这样质量上去了但时间也上去了。提示Agent的自主性是有代价的。它自己决定做什么就意味着你可能失去对过程的控制。用之前先想清楚你是要效率还是要控制。4. 实操过程从零搭一套AI辅助学习流程4.1 知识层的搭建Markdown加索引就够了知识层我试过很多工具Notion、Obsidian、Logseq都用过最后回到了最朴素的方案本地Markdown文件加一个简单的索引脚本。为什么因为Markdown是纯文本任何工具都能读不会被锁定。索引脚本我自己写的Python几十行扫描所有Markdown文件提取标题和关键词生成一个JSON索引。模型需要背景信息时脚本根据关键词从索引里找相关文件读取内容拼成上下文。具体结构是这样的knowledge/ concepts/ transformer.md attention.md papers/ attention_is_all_you_need.md code/ attention_impl.py index.json每个Markdown文件头部有一个简单的元数据--- title: Transformer架构 tags: [深度学习, NLP, 架构] updated: 2024-01-15 --- 正文内容...索引脚本扫描所有文件提取title、tags、updated生成index.json。查询时根据tags匹配返回相关文件路径。这个方案的好处是简单、可控、可迁移。坏处是需要自己维护文件多了之后索引会变慢。我的文件量目前是几百个索引一次大概几秒可以接受。如果上千个可能需要上数据库但那是以后的事。4.2 交互层的搭建提示词模板加版本管理交互层的核心是提示词模板。我的做法是把模板存成文件用Git做版本管理。每次调整提示词commit一下这样能追溯哪个版本效果好。模板文件长这样name: code_review version: 3 role: 你是一个有十年经验的Python工程师 context_from: [knowledge/code/] task: 审查以下代码的性能问题 constraints: - 用列表输出 - 每条不超过50字 - 按严重程度排序 examples: - input: for i in range(len(arr)): print(arr[i]) output: 1. 用enumerate替代range(len())更Pythonic用的时候脚本读取这个YAML从knowledge/code/读取相关代码拼成完整提示词调API拿结果。版本管理的好处是当某个模板效果变差时可以快速回滚。我试过一次改提示词改完之后输出质量明显下降回滚到上一版就好了。如果没有版本管理可能要找半天。4.3 工具层的搭建Python脚本加API调用工具层我用的是Python主要做三件事读知识层、拼提示词、调API。调API的部分我用的是requests库代码大概长这样import requests import json def call_llm(prompt, modelgpt-4, temperature0.7, max_tokens2000): headers { Authorization: fBearer {API_KEY}, Content-Type: application/json } data { model: model, messages: [{role: user, content: prompt}], temperature: temperature, max_tokens: max_tokens } response requests.post(API_URL, headersheaders, jsondata) if response.status_code 200: return response.json()[choices][0][message][content] else: raise Exception(fAPI调用失败: {response.status_code} {response.text})这段代码很简单但有几个细节要注意API_KEY不要硬编码在代码里用环境变量或者配置文件。我试过把key写在代码里结果不小心提交到Git虽然马上删了但还是有风险。temperature控制随机性0到1之间越高越随机。学习辅助一般用0.3到0.7太低输出太死板太高输出太飘。max_tokens控制输出长度设太小输出会被截断设太大浪费Token。我一般设2000够用。关于API提供商我用过几家各有优劣。有的便宜但速度慢有的快但贵有的稳定但功能少。我的建议是先用一家跑通流程再根据需求换。不要一开始就纠结选哪家跑起来最重要。4.4 一个完整的实操案例用AI辅助学习Transformer说了这么多理论来个具体案例。假设我要学习Transformer架构流程是这样的第一步知识层准备。我先找几篇核心资料包括原始论文、几篇好的博客、一段参考代码。把这些整理成Markdown打上tags放进knowledge/。第二步交互层设计。我设计三个提示词模板一个用于概念解释一个用于代码审查一个用于问题追问。第三步工具层执行。我写一个脚本输入是我想学习Transformer的注意力机制脚本自动从知识层找相关资料拼成提示词调API输出解释。第四步迭代。看完输出后我有几个不懂的地方用追问模板继续问。追问模板会把之前的对话历史带上保证上下文连贯。第五步记录。把有价值的输出整理成新的Markdown放回知识层。这样知识层越来越厚下次学习相关主题时背景更充分。这个流程跑下来学习效率比我以前手动查资料高不少。但也不是没有代价前期搭建花了大概一周时间包括整理资料、写脚本、调提示词。如果你只是偶尔学点东西这个投入可能不划算。但如果你像我一样每天都要处理大量信息这个投入很快就能回本。5. 常见问题与排查技巧实录5.1 API调用失败的常见原因与排查用API的过程中我遇到过各种报错整理成一张表错误码常见原因排查方法401API Key错误或过期检查Key是否正确是否过期是否有空格403权限不足或地区限制检查账号权限确认服务可用区域400请求格式错误或Token超限检查请求体格式检查输入Token数429请求频率超限降低请求频率加延时500服务端错误稍后重试检查服务状态页401是我遇到最多的基本都是Key的问题。有一次我复制Key的时候多复制了一个空格排查了半天。还有一次是Key过期了但我没注意邮件通知。400里最常见的是Token超限。有一次我输入了一个很长的文档超过了模型的上下文窗口报错说maximum context length is 1048576 tokens。解决办法是分段处理或者换上下文窗口更大的模型。注意报错信息里有时会包含Key的部分内容比如sk-svcac****。分享报错信息时记得把Key打码别泄露。5.2 输出质量不稳定的应对策略输出质量不稳定是AI辅助学习的常态。同一个问题今天问和明天问答案可能不一样。我的应对策略是策略一多次采样。同一个提示词跑三次取交集或投票。这个方法对事实性问题有效对创意性问题没用。策略二交叉验证。用两个不同的模型跑同一个问题对比结果。如果两个模型答案一致可信度就高。如果不一致就需要人工判断。策略三结构化输出。要求模型按固定格式输出比如JSON。这样即使内容有波动格式是稳定的方便后续处理。策略四人工兜底。重要的输出一定要人工过一遍。我试过完全信任模型输出结果有一次引用了一个不存在的论文差点闹笑话。5.3 Token用量失控的预防与优化Token用量失控是花钱的坑。我试过一次批量处理没注意Token数一天花了几百块。后来我做了几件事第一加Token计数。每次调API前先估算输入Token数超过阈值就报警。第二加缓存。同样的输入不重复调API结果存本地。我试过重复问同一个问题白白浪费Token。第三优化提示词。把不必要的背景信息删掉把长示例换成短示例。我试过把一个提示词从2000 Token压到800 Token效果没变。第四选对模型。不是所有任务都需要最贵的模型。简单的分类、提取任务用便宜的小模型就够了。复杂的推理、创作任务再用大模型。5.4 学习效果评估怎么知道AI辅助有没有用这个问题很难回答因为学习效果本身就很难量化。我的做法是记录学习日志每天记三件事学了什么、用了什么AI辅助、效果如何。两个月下来我翻看日志发现几个规律概念学习AI辅助效果明显尤其是解释复杂概念时模型能用类比讲清楚。代码学习AI辅助效果一般模型能指出问题但深入理解还得自己写。论文阅读AI辅助效果很好模型能快速摘要但细节还得自己抠。创意写作AI辅助效果不稳定有时能激发灵感有时全是废话。这些规律不一定适用于所有人但至少对我有用。我的建议是你也记录一下一个月后回头看就知道AI辅助对你哪些方面有用哪些方面没用。6. 两个月下来的一些个人体会写了这么多最后说点个人体会。这两个月最大的收获不是学会了多少知识而是学会了怎么跟AI协作。这件事听起来简单做起来难。难在你得放下AI应该懂我的期待接受我得把话说清楚的现实。我试过很多次觉得提示词写得够清楚了结果模型还是理解偏了。后来我明白不是模型笨是我没把隐含的前提说出来。人跟人交流有大量默认共识人跟模型交流没有你得把一切都显式化。另一个体会是AI辅助学习不是替代学习是加速学习。它不能帮你理解你不想理解的东西但能帮你更快地理解你想理解的东西。前提是你得先想清楚你到底想理解什么。最后一个体会是工具会变方法会变但学习的本质不变。AI再强也只是工具。真正学到东西的还是那个愿意花时间、愿意动脑子、愿意踩坑的你。工具能帮你省时间但省下来的时间你得用来做更重要的事而不是躺着。这两个月我踩过的坑、试过的方法、攒下的脚本基本都在这篇里了。有些可能过时了有些可能只适合我但思路应该是通用的。你要是也在用AI辅助学习欢迎交流说不定你的方法比我的更好。