SkillOpt实战：冻结模型权重，只训练Markdown提示实现大模型微调

最近我在折腾大模型微调的时候一直有个很纠结的点想给模型定制一套输出格式比如让它把杂乱的会议记录整理成 Markdown 表格或者按照固定结构输出摘要传统做法不是全量微调就是 LoRA。全量微调要几十张卡普通人根本玩不起LoRA 虽然省资源但也要反复调 rank、alpha、学习率这些参数一不小心就过拟合。直到我看到了微软的 SkillOpt这个思路属于是直接换了个赛道——模型权重完全冻结只去“训练”一段用 Markdown 写的提示文本。什么意思呢简单来说SkillOpt 把任务规范、输出要求、示例都写进一段结构化的 Markdown 文本里然后只优化这段文本对应的 token 序列让模型在推理时读一段“定制说明书”从而表现出更好的下游任务效果。整个过程完全不改底层模型的参数也不会产生灾难性遗忘。这篇文章我就以实战角度拆解一下这个项目的核心设计与实现过程包括环境准备、数据组织、训练参数、效果对比和一些踩坑记录。不夸张地说如果你手上有一块 24G 显存的显卡再做一点准备工作就能复现整个流程。1. SkillOpt 的核心思路为什么“不碰权重”这条路走得通1.1 从 Prompt Tuning 到 SkillOpt优化对象完全变了大模型微调这件事过去我们默认就是改参数。全量微调是把模型所有层的权重都更新一遍LoRA 是往权重矩阵旁边加低秩分解的旁路Prefix Tuning 是在输入序列前面加一组可训练的连续向量。但它们都有一个共同点优化过程发生在模型的参数空间里。SkillOpt 的做法完全不同。它把优化目标从“参数”换成了“文本 token”。我一开始也觉得不可思议因为文本 token 是离散的没法直接做梯度回传。但 SkillOpt 用了一个很巧妙的方式把可训练的前缀 token 表示成词表上的概率分布然后通过 Gumbel-Softmax 这类可微采样方法把“选词”这个过程变成可导的训练时更新的是每个 token 的概率分布推理时再直接取概率最高的那几个词拼成一段固定格式的技能描述文本。这样做的第一个好处是模型权重完全冻结显存占用大幅降低。我实测下来用同样一个 7B 模型跑 LoRA 和 SkillOptLoRA 需要额外保存梯度状态而 SkillOpt 只需要保存前缀 token 的梯度显存占用差了将近三分之一。第二个好处是训练出来的“技能”是可读的、可迁移的。你能直接看到模型学会了给自己写一段什么样的说明书而不是看到几千个看不懂的浮点数权重。1.2 Markdown 为什么是合适的“技能载体”标题里说“只训练 Markdown”其实不是让模型去学 Markdown 语法本身而是用 Markdown 这种结构化文本作为技能描述的表现形式。为什么选 Markdown我在实际使用中体会到几个原因。首先Markdown 的层级结构非常清晰。技能描述里通常要包含“任务目标”“输入格式”“输出要求”“注意事项”这几个板块用 Markdown 的标题、列表、代码块来组织模型更容易区分哪些是约束条件、哪些是示例内容。我做过对比同样的任务要求写成纯文本段落优化出来的效果明显不如写成 Markdown 结构。其次Markdown 本身是模型在预训练阶段见过大量语料的一种格式。现在网上的技术文档、项目 README、博客文章大量使用 Markdown模型对##、-、|这些符号的语义理解已经比较充分。SkillOpt 在离散 token 空间里搜索时更倾向于搜到模型“熟悉”的文本模式而不是一些奇怪的、不合语法的碎片。第三也是很重要的一点人可读。训练结束之后你可以直接把学到的技能文本打开看一眼就知道模型到底给自己写了什么。有一次我训练出来的技能文本里居然自己加了一句“如果输入信息不足请明确回答无法判断”这种可解释性是黑盒权重完全给不了的。1.3 和 LoRA 放在一起看两者到底怎么选不是说 SkillOpt 能替代 LoRA而是它们解决的问题不一样。我个人的经验是如果你要的是“某个任务的输出形式更规范”“某种能力更突出”SkillOpt 这种提示层面的优化往往就够了但如果你要让模型学会一个全新的领域知识比如学会读病历、学会看代码仓库的结构那 LoRA 甚至全量微调还是必要的。我把两者做了个对比方便你按需选择对比维度SkillOptLoRA是否更新模型权重否完全冻结是但只更新低秩旁路显存占用较低只需前缀 token 梯度中等取决于 rank 和层数可解释性高技能文本可直接阅读低只能看权重变化训练速度快通常几分钟到几十分钟慢通常以小时计迁移性好同任务可换基座模型直接复用差换了模型就得重训适用场景输出格式规范、任务边界清晰领域知识注入、复杂能力提升实际项目里最舒服的姿势是两者搭配使用先用 LoRA 给模型注入必要的领域知识再用 SkillOpt 针对具体的输出规范做一次“提示定制”。两个阶段都跑完可能还不到原来单独做一次 LoRA 训练的时间。2. 环境准备与工程实现细节2.1 官方仓库结构先看清楚再动手SkillOpt 的官方实现是基于微软开源的 SKILL 工作做的仓库结构不算复杂核心模块包括 Skill 的采样与优化器、任务数据加载器、评测脚本和几个基座模型的集成示例。我第一次打开仓库的时候最先看的是两个东西一是skill_optimizer目录下的搜索算法实现二是configs目录下的任务配置文件。在跑通任何模型之前我建议你先把仓库里自带的 README 完整看一遍尤其注意它支持的模型列表。官方示例默认用的是 Phi-3-mini但代码结构上对 Llama、Mistral 这类常见架构也是兼容的。我自己实际操作时换成了一款手头现成的 7B 模型只需要在模型加载部分改一下路径和对话模板其他基本不用动。这里有个容易踩的坑不同模型的 tokenizer 差别很大尤其是 chat 模板里|im_start|这种特殊 token可能会影响技能文本和输入内容的拼接效果。所以不要拿到代码就盲目跑先确认你选用的模型在预训练时用的是哪种指令格式再决定技能前缀怎么拼接。2.2 依赖安装与训练环境配置训练环境方面我的经验是尽量用 Python 3.10 以上版本PyTorch 用 2.x 版本。官方依赖里有transformers、accelerate、bitsandbytes这些常规组合但有一个容易卡住的点是gumbel相关的算子可能需要对应 CUDA 版本的 PyTorch不是装在 CPU 环境就能跑的。如果你在 Windows 上复现最烦人的往往不是项目本身而是环境前置需要安装 Microsoft C Build Tools否则某些依赖包在源码编译时会直接报错。另外还有一种常见情况是命令行里输入python提示找不到命令这是因为系统没有把 Python 加入 PATH很多人被这段卡了半天。我一般建议直接用 Anaconda 建独立虚拟环境然后通过 conda 的完整路径调用 Python能省掉很多环境上的幺蛾子。显存方面如果是 7B 模型用 16G 显存可以跑但 batch size 得压到 1梯度累积开大一点。如果是 3B 或 4B 级别的模型普通消费级显卡基本没什么压力。SkillOpt 的优势就在这里权重冻结意味着不需要存优化器状态显存大头就是输入序列的激活值比 LoRA 友好太多。2.3 数据组织不是随便给一堆文本就能训练有一段时间我特别不理解为什么我准备的训练数据量很大但 SkillOpt 优化出来的效果却很一般。后来仔细检查才发现问题出在数据组织方式上。SkillOpt 的训练数据不是简单的“输入-输出”对它需要你把每个样本组织成三个部分指令描述、输入内容、期望输出。以我做的会议纪要格式化任务为例每条样本长这样指令描述说明任务目标比如“将以下会议记录整理成 Markdown 表格包含发言人、发言主题、结论”。输入内容一段具体的会议记录口语化、乱序都无所谓。期望输出我手工整理好的标准 Markdown 表格。这三部分会被拼接成一个完整的训练序列技能 token 加在最前面让模型根据“技能指令输入”来生成输出。如果你把指令和输入混在一起写模型会分不清哪里是任务定义、哪里是待处理内容优化出来的技能就很容易跑偏。还有一个细节期望输出的格式一定要统一。我一开始准备数据时有的输出是带了表头分隔符的完整 Markdown有的只是简单列了几个条目结果训练出来的技能文本一会儿倾向于生成表格一会儿倾向于生成列表。后来我把所有输出都统一成同一套 Markdown 规范效果立刻稳定了很多。3. 实操过程与核心环节实现3.1 明确任务场景让模型输出格式化的 Markdown 表格下面我用一个非常具体的案例来演示完整流程目标是把一段散乱的会议记录转换成结构化的 Markdown 表格。这是很多团队实际会遇到的需求也是 Markdown 作为输出格式的一个典型场景。内容包括发言人、发言主题、讨论结论、待办事项四个字段。原始输入我随便贴一段作为示意张伟先说了一下这周上线的搜索功能整体点击率提升了12%但有个问题就是移动端部分机型上出现白屏李婷那边已经在排查了。王芳补充说下周三之前会给出修复方案另外还提到了新版用户引导的改版计划预计月底前能完成设计稿。期望输出大概是这样| 发言人 | 发言主题 | 结论 | 待办事项 | | --- | --- | --- | --- | | 张伟 | 搜索功能上线情况 | 点击率提升12%但移动端部分机型存在白屏问题 | 李婷负责排查 | | 李婷 | 白屏问题排查进展 | 已定位到部分机型兼容性问题正在修复 | 下周三前给出修复方案 | | 王芳 | 新版用户引导改版 | 设计稿月底前完成需要同步给开发团队 | 完成设计稿并同步排期 |这个任务看起来简单但如果你直接让模型生成十次里可能有四次输出不规范有时候列数对不上有时候把结论和待办事项混在一起。SkillOpt 要做的就是通过优化技能文本把这种“输出纪律”固化到提示词层面。3.2 写技能模板与配置训练参数根据仓库的要求技能初始模板不是从零开始的而是你提供一段“种子技能”也就是一个初始的 Markdown 提示。官方建议是把你认为可能有效的指令先写出来然后让 SkillOpt 在这个基础上做离散 token 的搜索与优化。我的初始技能模板大概是这样# 技能说明 你是一个会议纪要整理助手负责将会议记录转换为 Markdown 表格。 ## 任务要求 - 按发言人拆分内容 - 提炼每个发言人的核心结论 - 明确标注待办事项与负责人 - 输出格式必须为 Markdown 表格四列发言人、发言主题、结论、待办事项 ## 注意事项 - 信息不足时如实说明不要编造 - 保持语言简洁配置训练参数时有几个关键参数我单独解释一下。num_skill_tokens控制技能文本的长度我试下来 64 到 128 之间比较合适太短装不下完整的任务规范太长容易让模型生成时注意力分散。temperature在 Gumbel-Softmax 采样里很关键我一开始设 0.2结果优化过程过于保守技能文本几乎没怎么变后来调到 0.8搜索空间就打开了。但也不能太大温度太高时技能文本会变得非常散乱甚至出现重复片段。还需要特别强调的是整个训练过程中base model的参数是要置为requires_gradFalse的。这一点对应了项目最核心的卖点“不改模型权重”。如果你在代码里不小心把模型参数的requires_grad打开了不光训练速度会骤降而且“只训 Markdown”这件事就名存实亡了。3.3 训练与推理效果优化前后对比训练结束后我把 SkillOpt 学到的技能文本打开看发现它和我的初始模板已经很不一样了。它保留了“Markdown 表格”“按发言人拆分”这些核心要求但额外加了不少我当时没想到的细节比如“发言内容与结论重复时以结论为准”“如果出现多个时间节点全部写入待办事项列并用分号分隔”。我在验证集上对模型效果做了量化对比评估指标包括输出格式正确率、字段提取准确率、幻觉率。直接用原始模型的输出格式正确率只有 52%加了手工设计的提示词后提升到 71%而用 SkillOpt 优化后的技能提示正确率到了 89%。这个提升幅度对我来说是相当惊喜的关键是整个过程不需要收集大量训练数据我只用了不到一百条标注样本。推理时也有一个容易被忽略的点SkillOpt 训练出的技能文本是固定的你可以把它缓存起来每次推理时直接拼到输入前面完全不用重复计算。我后来把它固化成了一个常量字符串放在项目配置里任何一次推理调用都会自动携带这段优化后的 Markdown 提示效果稳定可复现。3.4 迁移验证换一个模型还能不能用SkillOpt 另外一个让我觉得实用的特性是技能的可迁移性。我把同一份训练好的技能文本从原来的 7B 模型直接搬到另一个同系列但规模更小的模型上发现输出格式正确率虽然略有下降但仍然能达到 80% 以上远高于从零开始做提示工程的效果。这说明 SkillOpt 优化出来的技能文本学到的是任务本身的规律而不是和某个特定模型绑定的“咒语”。不过有一个前提条件两个模型的指令跟随能力不能差太多。如果你从一个中文能力很强的模型迁到一个英文语料占主导的模型技能文本里的中文指令可能就不会被完美执行这种情况下还是建议在目标模型上重新做一轮小规模优化通常几十个样本就够了。4. 常见问题与排查技巧实录4.1 训练过程不收敛先查学习率和温度我前几次跑 SkillOpt遇到的最典型问题就是训练 loss 纹丝不动或者技能文本更新了几步之后就陷入了重复输出。排查下来大概率出在温度参数和学习率的配合上。温度太低的时候Gumbel-Softmax 的采样结果几乎是确定性的优化器很难找到梯度的方向温度太高的时候选词过程太随机技能文本会变得毫无逻辑。我的调参经验是先把温度固定在 0.6 到 0.8 之间然后调学习率。SkillOpt 对学习率比较敏感通常 1e-4 到 5e-4 之间是一个比较稳妥的区间。如果 loss 一直不降可以先看看梯度是否回传到了 skill token 的 embedding 上很多人会忽略这步结果发现模型权重确实没变技能 token 也没变等于白跑。4.2 输出格式仍然不稳定检查数据多样性和技能长度有一种情况是训练过程正常loss 也降了但推理时偶尔还是会跳出几个不规范的输出。我复盘后发现这往往是训练数据里某个“边角案例”没覆盖到。比如我的会议纪要数据里极少出现“一个人连续说多轮”的情况所以模型在遇到这种输入时就容易把多个主题塞进一个单元格里导致表格列数对不上。解决办法有两种一是补数据把这类边界情况加进训练集二是把技能文本的长度上限稍微调大一点让模型有更充足的空间去“记住”这种约束。我实际测试下来把num_skill_tokens从 64 调到 96这类边界情况的错误率下降了将近一半。4.3 常用工具联动的几个坑在 SkillOpt 之外我调试 Markdown 输出时也踩过一些工具上的坑。比如 VSCode 里想把 Markdown 导出成 PDF系统提示需要安装 PrinceXML这个依赖别跳过否则导出时会报缺失组件的错。还有在 Coze 或类似工作流平台里做 Markdown 转 Word要注意表格分隔符在转换后有可能丢失最好在转换前统一成标准 GFM 表格格式。另外如果你经常要观察模型输出的 Markdown 渲染效果我建议直接用一个支持实时预览的编辑器边跑推理边看渲染结果比在黑乎乎的终端里直接读原始文本直观得多。这个问题在做表格类输出时尤其明显终端里看到的竖线排列一团糟但渲染出来其实结构是完整的。4.4 数据重复训练对效果的影响有一个很容易被忽视的细节是“数据被输入训练了几遍”这件事。我做过对比实验同样一份 80 条样本只用 1 个 epoch优化出的技能文本泛化性最好如果跑 5 个 epoch训练集上的表现确实更好但验证集上的格式正确率反而下降。这说明 SkillOpt 也有过拟合问题只不过过拟合的对象是技能文本而不是模型权重。实际操作中我一般控制在 1 到 3 个 epoch 之间。如果你发现训练之后的技能文本里出现了非常具体的信息比如记住了某一条训练样本里的公司名、人名那就说明过拟合了需要减小 epoch 或者增加数据多样性。5. 我的实战体会与后续扩展建议整个项目跑下来我对“不改模型权重只训练 Markdown”这个思路有了更深的体会。以前做提示工程是纯靠经验和感觉去调 prompt改一版效果不满意再改一版效率很低现在相当于把“搜索最优提示”这件事自动化了而且搜索过程有明确的目标函数和梯度方向能系统性地逼近最优解。我个人最推荐的落地方式是把 SkillOpt 训练完成之后生成的技能文本交给业务方人工审核一次。因为它可读所以团队里的非算法同学也能理解模型到底遵循什么规则在工作这在企业场景里非常重要。很多模型能力明明够用只是输出形式不稳定这种情况下直接上 SkillOpt比费劲做数据清洗和全量微调划算得多。如果你想继续往下探索我建议试两个方向一是把 SkillOpt 和 LoRA 结合先用 LoRA 给模型注入少量领域知识再用 SkillOpt 做输出规范定制两者优势互补二是把优化出的技能文本拿到不同基座模型上测试迁移效果我试下来哪怕是不同厂商的模型只要指令跟随能力达标效果都还说得过去。这个方向后续还可以配合智能体工作流把技能文本作为 Agent 的系统提示词动态注入做成一个可复用的“技能库”管理平台。