半监督学习：师生结构互动原理

常见于伪标签Pseudo Label、Mean Teacher、Noisy Student、FixMatch这类半监督算法核心思想教师模型生成软 / 硬伪标签学生模型用标注数据 无标注数据一起训练。一、两个模型基本定义学生模型Student可训练参数实时更新接收输入输出预测。同时用有标签数据做监督损失用无标签数据 教师的伪标签做一致性损失。教师模型Teacher一般不直接用梯度更新参数由学生模型的参数EMA指数移动平均缓慢拷贝得到 作用对无标签样本生成高质量伪标签软标签概率分布 / 硬标签 one-hot。⚠️ 区分Noisy Student 里教师是固定预训练模型学生训练完又变成新教师属于迭代师生Mean Teacher 是训练过程中同步维护 EMA 教师是在线师生。二、训练时完整互动流程Mean Teacher 典型流程输入分支有标签样本原图带真实标签无标签样本做两次不同的增强强增广 弱增广教师侧无标签样本弱增强版本送入教师模型 → 输出预测概率作为伪标签target教师不计算梯度只做推理参数 EMA (学生参数)每一步慢慢跟着学生走比学生更稳定。学生侧有标签样本学生预测和真实标签算分类损失CE无标签样本强增强版本送入学生模型输出预测和教师给出的伪标签计算一致性损失MSE / KL 散度总损失一致性损失权重控制无标注部分的强度 5.参数更新梯度只回传给学生模型更新学生权重教师权重\(\theta_t \alpha \cdot \theta_t (1-\alpha)\cdot\theta_s\) \(\alpha\)一般取 0.95~0.99平滑更新抑制噪声伪标签抖动三、互动核心机制一致性正则化假设同一个样本经过不同数据增广模型预测应该保持一致教师看扰动更小的样本弱增广生成稳定目标学生看扰动更大的样本强增广学习在变化下依然匹配教师的预测目的强迫模型学习鲁棒特征利用海量无标注数据防止过拟合少量标注集四、两种主流师生范式区别1. Mean Teacher在线师生最经典✅ 训练全程同时维护教师和学生教师是学生 EMA单轮训练并行互动优点实现简单稳定CV 半监督基线缺点教师永远滞后学生极端情况下会继承学生错误2. Noisy Student迭代式师生✅ 分多轮迭代不是同时存在第一轮用少量标注数据训练一个教师固定不动教师给全部无标注数据打伪标签加入训练集用带标注 伪标签数据训练学生训练时对输入加噪声增广、dropout训练完成后学生升级成为新教师重复打标签训练下一轮学生特点一轮结束才切换师生每一轮教师完全固定五、关键坑点师生互动容易出的问题伪标签漂移Confirmation Bias学生学了教师的错误伪标签越训越错教师跟着学生 EMA 更新错误不断放大。 缓解用软标签概率分布而不是硬 one-hot筛选高置信度伪标签强数据增广。教师过早跟上学生失去 “稳定目标”EMA 的\(\alpha\)不能太小。一致性损失权重\(\lambda\)不能一开始就开很大通常预热训练前期只训练监督损失模型有一定能力后再打开无标注一致性损失。六 、三大查询匹配查询、一致性查询、去噪查询1️⃣ 匹配查询 Match Query主检测 Query正常 Object Query作用负责常规检测、和伪标签做匈牙利匹配产生检测输出推理时只用它。来源DETR 原生可学习 object queries数量固定例如 100 个有标注分支和 GT 做匈牙利 1‑to‑1 匹配算标准检测 loss分类 框回归无标注分支接收教师输出的伪框伪标签执行混合分配策略训练前期1 对多分配一个伪标签匹配多个 match query提升召回、挖掘小目标训练后期切回 1 对 1保证 NMS‑free 输出质量。和师生的关系学生的 Match Query 做前向输出预测学生梯度更新教师EMA用同样这套 query 在弱增广图上推理产出伪标签。一句话就是正常 DETR 检测 query负责真正输出框一致性、去噪是训练辅助 query。2️⃣ 一致性查询 Consistency QueryCQC跨视图一致性正则化核心解决 DETR 半监督老问题不同增广视图之间物体不绑定固定 query 索引传统一致性正则无法直接用。作用专门做跨视图弱增广 view / 强增广 view一致性约束实现半监督一致性正则。工作流程师生互动无标注图生成两个视图view‑A弱增广送入教师模型教师 Match Query 输出伪实例view‑B强增广送入学生模型。把教师在弱视图匹配到物体的query 特征复制出来作为学生侧的Consistency Query 初始化。✨关键点不是用索引对齐是直接复制教师 query embedding保证强视图学生这边的 CQC语义上和弱视图教师检测同一个物体。学生把这批 CQC 送入解码器在强增广图像特征上做注意力推理得到学生侧预测。Loss学生 CQC 输出 VS 教师对应伪标签计算一致性损失只作用 CQC不干扰 Match Query。意义Match Query 索引会乱跑CQC 强制把 “同一个物体的 query 特征” 跨视图搬运过去。实现 Mean‑Teacher 那套一致性正则思想但适配 DETR 动态 query 特性。注意CQC只训练不参与推理不会出检测结果只用来传递无标注数据的监督信号。3️⃣ 去噪查询 Denoise QueryDN‑Query借鉴 Denoise‑DETR作用降低伪标签噪声、帮助解码器区分前景 / 背景缓解半监督里伪标签错标、漏标噪声。Denoise‑DETR 原本是给有监督用把带小噪声的 GT 框编码成 DN‑query帮助学习框回归Semi‑DETR 把它迁移到半监督拿教师输出伪标签做带噪声编码生成 denoise queryCVF Open A...。师生下的工作取教师输出的伪框、伪类别人为给坐标加轻微高斯噪声将噪声伪框 类别编码生成一批 Denoise Query送入学生解码器监督信号依然用原始干净教师伪标签做目标算 loss效果强迫解码器学会即使 query 输入位置有偏移噪声依然回归到真实物体位置提升对伪标签位置抖动的鲁棒性抑制 confirmation bias。关键点DN‑Query 也仅训练阶段存在推理直接丢弃不会占用推理开销。三者完整协作Semi‑DETR 半监督训练数据流输入一批数据有标注图 无标注图强弱双增广教师EMA 学生参数不回传梯度弱增广无标注图走 Match Query → NMS 后得到伪框伪标签。学生梯度更新主体三路 Query 并行过解码器Match Query有标注匈牙利匹配 GT监督 loss无标注匈牙利匹配教师伪标签1 对多→1 对 1 混合分配主检测损失。Consistency Query(CQC)复制教师匹配成功实例的 query embedding 初始化在强增广图像上解码对齐教师伪标签一致性正则 loss。Denoise Query教师伪标签加入位置噪声编码生成 query学生回归回原始伪标签抗伪标签位置噪声。总损失 标注数据监督损失 Match‑query 无标注分配损失 λ₁一致性查询损失 λ₂去噪查询损失更新学生参数教师执行 EMA 平滑更新。推理只保留 Match QueryCQC / Denoise Query 全部扔掉。三者简明对比表查询是否推理使用来源核心目的监督来源匹配查询 Match Query✅推理使用原生可学习 object query正常目标检测输出框GT / 教师伪标签匈牙利匹配一致性查询 Consistency Query (CQC)❌仅训练复制教师在弱视图匹配成功的 query embedding跨增广视图一致性正则解决 DETR 动态 query 问题教师伪标签去噪查询 Denoise Query❌仅训练教师伪标签加位置噪声编码生成抵抗伪标签位置噪声提升回归鲁棒性原始教师干净伪标签核心坑点理解CNN‑based SSOD如 Consistent‑Teacher不需要 CQC因为输出是空间特征图不需要关心 query 索引DETR 必须 CQC因为 query 索引不绑定物体实例。CQC 不是新学一批参数是拷贝教师的 query embedding 作为初始化强视图下再经过学生解码器注意力更新实现 “同一物体语义的 query 跨视图传递”。Denoise Query 不是过滤伪标签而是训练解码器对位置噪声鲁棒真正过滤伪标签是另外 GMM 代价挖掘模块和 DN‑Query 是两个独立模块。和 Mean‑Teacher 的对应关系Mean‑TeacherCNN弱增广图教师预测 → 强增广图学生预测 → 直接对输出做一致性损失。Semi‑DETRTransformer弱增广图教师 Match Query 检测物体 → 复制该物体 query embedding 生成 CQC → CQC 送入强增广学生解码器 → CQC 输出对齐教师伪标签做一致性损失。七、整体流程图八、一句话总结师生互动学生不断学习用梯度更新教师缓慢复制学生的权重用更稳定的预测作为无标注样本的学习目标学生要做到样本经过剧烈增广后预测依然对齐教师给出的目标以此挖掘无标注数据信息。