医疗影像多任务无监督自适应：从ResNet50到专家门控的落地实践

简介面向医疗图像分析的多任务学习无监督自适应模型源码项目将ExpertNet的专家模块与Resnet50的残差结构结合适用于深度学习开发者、医疗影像AI研究者和学生用于解决标注样本稀少时的疾病特征提取与多任务协同识别问题。压缩包内共16个文件以10个Python脚本为主体覆盖数据预处理、模型定义、训练、评估及可视化等环节并附带requirements依赖说明、README与许可证文件整个压缩包仅27KB轻量便于快速部署。源码中已包含Encoder训练、Autoencoder、模型生成与测试等模块结构清晰可支撑复现实验或作为二次开发基线。借助Resnet50的跳跃连接缓解梯度消失ExpertNet的专家模块实现多任务特征共享项目展示了无监督自适应策略在医疗影像识别中的实际落地路径尤其适合CT肿瘤、眼底病变等标注成本高的场景。目前已有254人学习可作为课程设计、科研基准也可迁移至其他影像分析任务。1. 医疗影像缺标注时多任务无监督自适应模型为什么值得做影像科攒了十万张CT能用的标注可能只有几百例。Manager说“上深度学习”医生却反问“肺结节、肺炎、器官分割能不能一个模型全出了”。这时候你会发现单任务模型在数据稀疏的医疗场景下训练容易“见光死”——伪影一多、设备一变、序列一换性能立刻跳水。Python生态里做医疗图像多任务学习比较稳的打法是ExpertNet做任务级门控、ResNet50提取通用特征再接一个无监督自适应机制让模型在没有标签的大量数据上持续对齐。这样你用少量标注启动训练剩下的让模型自己在数据里找规律。这套方案解决的不是“跑通一个demo”而是“在标签稀缺的医疗图像上把多任务模型训到能落地”。适合手里有大量无标注影像、想省标注成本的研究生和算法工程师。2. 多任务学习在医疗图像上的任务拆解先别写代码把损失函数想清楚2.1 医疗多任务到底在“多”什么从辅助头到不确定性加权先说结论医疗图像多任务学习里的“多”一般指三类任务组合——分类有没有病、分割病灶在哪、回归病灶体积/直径。你选的组合决定了最终模型结构长什么样。常见搭配是“分类分割”双头因为这两个任务共享底层特征最充分ResNet50下采样出来的特征图既能喂给全连接层做分类也能喂给解码器做像素级分割。加上回归头之后模型容量要变大训练时Loss的尺度差异会直接把你搞崩——分类用交叉熵Loss分割用Dice Loss回归用MSE三个Loss数值范围能差出两个数量级直接相加等于没加。我一般用不确定性加权Kendall et al.的思路来自动学习每个任务的权重而不是手动调三个超参数。具体做法是给每个任务的Loss加一个可学习的log方差项训练时网络自己决定哪个任务该被重视。要不就是直接手动设权重分类0.4、分割0.4、回归0.2先从这组默认值开始跑看验证集曲线再调。注意分割任务的Dice Loss在训练初期波动很大如果权重给高了分类分支会被带偏表现为分类准确率一直上不去、Dice却在涨。表三种任务头的设计参考任务类型输出头Loss权重初始值典型监督信号分类如肺炎二分类Global Avg Pooling FC SoftmaxCrossEntropy0.4图像级标签最易获取分割如病灶区域FPN式解码器 1x1 ConvDice BCE0.4像素级Mask最昂贵回归如病灶直径FC ReLU输出标量SmoothL1 / MSE0.2ROI直径标注需医生测量2.2 把DICOM/NIfTI转成模型能吃的张量一个能直接改的预处理脚本医疗图像的第一道坎是格式。DICOM是设备原始输出NIfTI是科研和竞赛常用的处理格式。你的模型不认识这两种格式得先转成numpy数组再做窗宽窗位截断、重采样和归一化。这里最常见的翻车点是把CT值直接除以255送进ResNet50它是用ImageNet的RGB分布预训练的这样模型看到的形状完全不对收敛慢且性能差。下面这份脚本处理3D NIfTI取中间切片转2D做窗宽窗位截断后归一化到0-1。窗宽窗位的值比如窗宽400、窗位40是针对肺窗的经验值你处理别的部位得换。import numpy as np import nibabel as nib from skimage import transform def load_nifti_2d(img_path, img_size(224, 224), window_width400, window_level40): 读取NIfTI文件取中间层做窗宽窗位截断并归一化。 window_width400, window_level40 是肺窗经典取值。 img nib.load(img_path).get_fdata() # 取中间切片假设输入形状为 (H, W, D)D是层数 mid_slice img[:, :, img.shape[2] // 2] # 窗宽窗位截断小于下限的拉低大于上限的拉高 lower window_level - window_width / 2.0 upper window_level window_width / 2.0 mid_slice np.clip(mid_slice, lower, upper) # 线性归一化到 [0,1]避开了经典的“直接/255”错误 mid_slice (mid_slice - lower) / (upper - lower) # 不同设备采集的切片尺寸不统一统一缩放到目标分辨率 mid_slice transform.resize(mid_slice, img_size, modeconstant, preserve_rangeTrue) # 单通道转三通道匹配ResNet50的输入需求 mid_slice np.stack([mid_slice] * 3, axis-1) return mid_slice.astype(np.float32)逻辑说明代码先取中间层切片这是为了把3D问题降维成2D问题方便用ImageNet预训练的2D ResNet50。窗宽窗位截断不是“可选的图像增强”而是CT影像的标准化操作不做这一步模型会学到设备差异而不是病灶差异。重采样用的是skimage的transform.resize直接做双线性插值医疗图像大批量预处理时可以考虑换成ITK的Resample那个在保留空间信息方面更严谨。参数说明window_width和window_level是关键肺窗用400/40纵隔窗用350/50腹部软组织用400/60。换成MRI数据时没有窗宽窗位的概念剪掉这步改做Z-score标准化。img_size用224是ResNet50的标准输入如果你的病灶很小建议用512不然小病灶在下采样四轮后小于一个像素分割任务直接废掉。3. 组装ExpertNet ResNet50的主干门控机制决定任务共享度3.1 ExpertNet为什么能被去掉用1x1卷积在ResNet50之上做轻量专家市面上的“ExpertNet”没有统一版本。2019年前后有一批论文用这个词指代“基于专家混合Mixture of Experts的自适应网络”核心思想是多个专家子网络各学各的特征再由门控网络按输入动态加权。在医疗图像领域你把ResNet50和ExpertNet并列在一起常见的从业方案是把ResNet50作为共享特征提取器ExpertNet改造成它的“大脑”——用一组卷积专家单元来调制ResNet50的输出特征。这样每个专家负责一类影像风格或一类器官门控负责决定当前样本该听谁的。具体来说我一般会在ResNet50的layer4输出后接一个专家分支平行的1x1卷积组每个专家输出一个通道注意力向量门控网络根据输入特征图生成归一化权重把专家特征加权融合。1x1卷积在这里不是降维工具是用最小的计算代价让每个专家学到不同的通道模式。用3x3卷积做专家太贵7x7更是灾难。3.2 ResNet50的截断与替换冻结训练法应对小数据集ResNet50这个骨干选得很稳层数够深但单卡能跑ImageNet预训练权重随处可得torchvision一行代码加载就能用。但在医疗图像上直接用有两个坑第一ResNet50最后一层是1000类ImageNet分类头必须摘掉第二预训练在自然图像上完成底层卷积核学的是纹理边缘医疗图像的纹理分布不一样但低级特征边缘、角点、梯度是共用的所以策略是冻结前几层从layer3开始解冻微调。ExpertNet与ResNet50的融合方式我用的是门控逐通道调制代码实现如下import torch import torch.nn as nn from torchvision import models class ResNet50ExpertNet(nn.Module): def __init__(self, n_classes2, n_experts4, temperature1.0): super().__init__() # 加载预训练ResNet50替换分类头为特征提取 backbone models.resnet50(weightsmodels.ResNet50_Weights.IMAGENET1K_V2) # 提取到layer4输出去掉最后的avgpool和fc self.features nn.Sequential(*list(backbone.children())[:-2]) # 冻结backbone的前三个stagelayer1、layer2保持底层特征稳定 for name, param in self.features.named_parameters(): if layer1 in name or layer2 in name or layer3 in name: param.requires_grad False # ExpertNet4个专家分支每个是1x1卷积生成1000维通道权重 self.experts nn.ModuleList([ nn.Sequential( nn.Conv2d(2048, 256, kernel_size1), nn.ReLU(inplaceTrue), nn.Conv2d(256, 2048, kernel_size1) ) for _ in range(n_experts) ]) # 门控网络全局池化 - FC - softmax输出每个专家的权重 self.gate nn.Sequential( nn.AdaptiveAvgPool2d((1, 1)), nn.Flatten(), nn.Linear(2048, n_experts), nn.Softmax(dim1) ) self.temperature temperature # 多任务头分类、分割、回归 self.cls_head nn.Linear(2048, n_classes) self.seg_head nn.Conv2d(2048, 1, kernel_size1) self.reg_head nn.Linear(2048, 1) def forward(self, x): feat self.features(x) # 输出 (B, 2048, H/32, W/32) # 每个专家输出通道调制权重 gates self.gate(feat) / self.temperature # 用门控权重加权融合专家调制结果 out 0 for i, expert in enumerate(self.experts): mod expert(feat) # (B, 2048, H, W) 通道调制图 out gates[:, i].view(-1, 1, 1, 1) * mod * feat # 多任务输出 pooled nn.functional.adaptive_avg_pool2d(out, (1, 1)).flatten(1) cls_out self.cls_head(pooled) seg_out torch.sigmoid(self.seg_head(out)) reg_out self.reg_head(pooled) return cls_out, seg_out, reg_out逻辑说明门控网络对全局特征做平均池化后映射到专家权重每个专家不直接输出特征图而是输出一个与ResNet50特征图同尺寸的调制权重乘以原始特征得到“注意力调制后的特征”。这里门控的temperature参数是温度系数数值越低、分布越尖锐会让模型更倾向只选一个专家数值越高、分布越平缓专家间的贡献趋于均匀。训练初期温度设1.0后期降到0.5网络会逐渐学会为不同样本分配专职专家。参数说明n_experts设为4是比较合理的起步值。医疗图像数据量少专家太多会加剧过拟合低于3个门控没什么存在意义。冻结策略里我冻结到layer3这意味着backbone里更大的参数量被固定了显存占用小、训练快但我建议你在自己的数据上做一组对照全量微调vs冻结到layer2通常后者在几百例数据上表现更好因为它防过拟合。4. 无监督自适应训练策略伪标签 一致性正则怎么搭4.1 伪标签的置信度阈值的三个档位无监督自适应要解决的根本问题是有标签的数据源域和无标签的数据目标域分布不一样——不同设备、不同序列、不同医院。直接硬训在源域上目标域效果几乎一定差。无监督自适应的经典做法是伪标签先用有标签数据训练一个初版模型在无标签数据上推理把置信度高的样本当成有标签数据加到训练集里迭代。原理不复杂复杂度全在“置信度要大于多少才敢用”的阈值设定上。我按经验把置信度阈值分三个档位0.9以上安全区基本不会污染训练集适合第一轮迭代。0.9以上的样本通常病灶特征极其典型模型不会看错。但代价是数量可能很少如果无标签数据里只有2%的样本达到阈值训练作用有限。0.7到0.9激进区适合模型已经有了一定基础的第二三轮迭代。这里开始出现误标风险需要配合4.2的一致性正则来抵消噪声。0.5到0.7不建议使用。医疗图像的类间重叠太厉害正常组织和早期病灶在特征空间里本来就是连续的模型在0.5到0.7置信度区间内的判断基本等于瞎猜硬加进去会把训练集污染。伪标签更新的频率也要控制好每轮epoch更新一次还是每5轮epoch更新一次我习惯每3轮epoch重新在无标签集上推理一次更新伪标签。每次更新时保留置信度高于阈值的样本其余的丢弃。注意不同类别的置信度分布可能差距很大肺炎阳性样本的置信度普遍高于阴性不要用全局阈值卡最好按类别分别统计置信度的中位数来动态设定阈值。4.2 一致性正则两张长得很像的图不该给出两个答案一致性正则的原理很简单同一张图的轻微扰动版本模型输出应该保持不变。这在无监督场景下是最强的学习信号之一——它不依赖任何标签只需要随机增强。具体落地方式如下一张无标签图像做两次不同的随机增强不同强度的颜色抖动、旋转、裁剪同一个模型分别推理要求两个结果在特征层面或者输出层面尽量一致。如果模型预测出矛盾说明特征提取不稳定通过最小化两者之间的距离来强迫模型学出鲁棒的特征。def unsupervised_consistency_loss(model, img, n_aug2, threshold0.9): 每张无标签图生成两次随机增强 计算伪标签与二次增强预测之间的一致性损失。 # 两次不同强度的增强 aug1 strong_augment(img) aug2 strong_augment(img) # 关闭梯度推理第一次增强的结果作为“伪标签” with torch.no_grad(): cls1, _, _ model(aug1) prob1 torch.softmax(cls1, dim1) # 置信度低于阈值的样本不参与一致性学习 conf, pseudo_label torch.max(prob1, dim1) mask (conf threshold).float() # 第二次增强正常走梯度 cls2, _, _ model(aug2) # 一致性损失 交叉熵(第二次预测, 伪标签) loss nn.functional.cross_entropy(cls2, pseudo_label, reductionnone) loss (loss * mask).mean() return loss逻辑说明第一次增强推理用torch.no_grad()包住得到的输出被当成伪标签第二次增强走正常反向传播。这个设计隐含了一个假设——模型对aug1的判断大概率是对的所以阈值筛掉了低置信度样本对aug2的判断应该向它对齐。增强强度要拉开梯度aug1用弱增强保证推理出的伪标签可靠性aug2用强增强强迫模型学习到更鲁棒的表征。如果两个增强都很弱模型学到的是图像层面的抵抗力而不是语义层面的特征。训练中期增强强度可以逐步加大。参数说明threshold的设定决定有多少无标签样本能进入一致性正则计算我在0.7到0.95之间调。mask把低置信度样本的损失置零相当于自动过滤噪声。这里的loss用交叉熵而不是MSE——交叉熵对softmax分布的错误更敏感优化过程中分类边界更清晰MSE在softmax输出空间中容易把概率分布拉向平均导致类别响应不突出。4.3 无监督域的对抗分支让特征“骗过”域判别器伪标签和一致性正则都是间接的分布对齐对抗学习是更直接的方案。在特征提取的顶端加一个域判别器输入是源域有标签数据和目标域无标签数据的特征输出的是域类别。特征提取器通过梯度反转层去“骗过”判别器——让判别器分不清特征是从哪个域来的特征空间里的分布差异就被抹平了。常见做法是梯度反转层Gradient Reversal LayerGRL正传时原样输出反传时将梯度乘以一个负系数-λ。无监督自适应模型的“自适应”就体现在这伪标签负责给无标签数据找目标一致性正则保证目标可学对抗分支负责抹平特征分布差异。三者最好同时开火只在伪标签置信度低的前几个epoch不开对抗分支。对抗分支在训练的早期太强会让特征提取器只顾着骗判别器忽视了分类和分割的真实优化目标。前50个epoch让λ从0线性增长到1后面保持1。5. 训练落地的五个必踩坑从尺寸翻车到BN统计量漂移5.1 输入尺寸和ResNet50的第5次下采样打架现象CT切片用了512x512的分辨率病灶分割结果很碎边缘的完整性明显差于预期。明明标注没问题Dice就是上不去。原因ResNet50一共做了5次下采样输入512输入最终得到16x16的特征图。对于分割任务来说16x16基本上把空间信息榨干了小病灶在特征图里只占一两个像素解码器再往上采样时信息已经丢了。解决分割任务输入至少256x256这样特征图是8x8稳妥起见512x512输入特征图16x16搭配FPN式的多尺度特征融合。还要注意ResNet50的layer4输出步长是32空间分辨率很低我建议把layer4的stride从2改成1这样最终特征图的步长变成16分割细节保留得更多代价是显存稍微涨一点。5.2 伪标签初始太少导致的分支崩溃现象有标签数据只有500例无标签数据5000例第一轮无监督训练跑完伪标签阈值0.9筛出来的样本只有80个训练整体没什么提神。原因500例训练出来的模型本身偏弱在分布偏移的目标域数据上很难输出高置信度的预测这是模型能力和阈值要求之间的矛盾。解决第一轮主动降低阈值到0.8目标不是为了拿到干净样本而是为了在无标签数据集上快速扩充一轮等模型在第一轮伪标签的帮助下变强了再把阈值抬回0.9。这个策略本质上是用少量噪声换训练加速度。另外可以按类别设定阈值阳性类阈值0.9阴性类阈值0.7。5.3 BN统计量在无标签推理时的隐性错位现象训练集和验证集都是同一个医院的数据效果还行换到另一个医院的设备数据准确率直接掉了15个点。原因BatchNorm层在训练时统计的是当前batch的均值和方差用滑动平均维护全局统计量。如果无标签目标域数据的分布和源域差异很大BN层保留的是源域的统计量在目标域推理时标准化结果就会偏掉。解决跨域微调时先用目标域的无标签数据对BN层的running_mean和running_var做一次前向统计更新——把所有无标签数据过一遍模型只更新BN统计量不更新权重。这个操作在伪标签迭代每轮开始时做一次能明显缓解域间漂移。5.4 多任务Loss互相拉扯导致分类头跑偏现象分类准确率一直维持在70%上不去Dice却在涨。看起来“整体在变好”但实际上分类分支被分割任务压制了。原因Dice Loss的梯度更新在像素级别每个像素都在贡献梯度优化动力很猛分类Loss是图像级别的一次更新只有一条梯度信号。两类任务梯度尺度和频率不同分割任务把分类任务在共享特征空间里的决策边界挤掉了。解决分类分支的Loss乘一个加速权重从0.4提高到0.8再看分类准确率曲线是否恢复如果还不恢复把backbone分成两段layer4之前的共享部分不动分类分支单独接一条layer4。这样分类和分割在最后一级各走各的互不干扰。5.5 无标签数据预训练后全标签微调结果反而更差现象用无标签数据做了几轮自监督预训练再用标签微调效果竟然比不用无标签数据的baseline更差。原因无监督阶段没有标签约束模型学到了目标域的纹理分布但这部分特征很可能与标签分类边界无关。尤其目标域和源域差异较大的时候无监督阶段学出的特征空间是“域特异的”而不是“任务特异的”后续微调等于是从错的起点开始学。解决无监督预训练阶段就要引入任务归纳偏置。具体做法是在伪标签阈值很低的情况下跑一致性正则牺牲一部分特征干净度保证学出来的特征能保留任务相关的响应。无监督阶段结束之后在测试集上验证特征质量如果分类准确率低于随机两倍的说明预训练方向错了降低无监督学习的权重。6. 两项验证技巧把模型输出可视化以及用熵值诊断伪标签质量训练结束只报三个指标——分类准确率、Dice、MAE——是不完整的。医疗图像场景真正的验收点是“模型答错的样本医生能不能看懂为什么错”。我最常做的可视化有两类第一类是分割结果的边界叠加图把模型输出的概率图按0.5阈值二值化后画在原图上用绿色描边第二类是注意力热力图从ExpertNet门控输出里把每个专家对最终预测的贡献图可视化出来看模型是不是总会盯着病灶区域看还是在看骨骼边缘、床沿、体外伪影这些无关区域。import cv2 import numpy as np def overlay_mask_on_image(image, mask, color(0, 255, 0), alpha0.5): 把分割mask叠加到原图上方便医生直接看诊断效果。 overlay image.copy() mask_bool mask 0.5 overlay[mask_bool] (overlay[mask_bool] * (1 - alpha) np.array(color) * alpha) return overlay def feature_entropy(prob_map): 计算预测概率图的熵值熵越高说明模型越犹豫常用于伪标签质量筛查。 eps 1e-12 prob_map np.clip(prob_map, eps, 1 - eps) entropy -prob_map * np.log(prob_map) - (1 - prob_map) * np.log(1 - prob_map) return entropy.mean()逻辑说明feature_entropy用于伪标签质量诊断我不直接相信置信度分数而是把每张无标签图像的预测熵值算出来画成直方图。如果无标签集里熵值普遍偏高说明模型在这些数据上近似随机猜测伪标签没意义。把高熵样本聚出来看看经常能发现模型在看到金属伪影、造影剂堆积区域时特别犹豫——这部分样本在送入训练前可以先用传统图像处理筛掉。最后一个技巧训练过程中把伪标签从模型输出到进入损失函数之间做一个“延迟”——伪标签先保存成npy文件训练时直接读文件而不是实时代码推理生成。这样做的理由很实在每一轮如果实时跑推理、实时筛选、实时更新训练速度和显存都吃不消而且一旦某轮伪标签质量崩溃你没法回滚。npy文件版本化之后每轮伪标签都是一个文件出了坑随时回到上一个版本这算是我的血泪经验。希望帮到你。本文还有配套的精品资源点击获取