甲状腺结节多类别分类实战：从可信数据集到Grad-CAM验证

简介面向医疗AI与计算机视觉研究者提供专业甲状腺结节分类数据集涵盖约2100张真实场景图像包含结节性甲状腺肿与正常两类标注经专业医生复核分辨率统一为256×256并划分训练/验证集也兼容YOLO训练。资源共2000个文件包括1998张JPG图像、1个Python可视化脚本与1个JSON标签配置文件压缩包约56MB。附赠的脚本可一键生成类别分布图、样本示例网格、图像尺寸统计等便于快速理解数据特征、优化数据增强策略。数据集结构清晰、文档齐全目前已有32人学习下载适合学术研究、课程项目及原型开发助力构建高精度智能诊断模型。1. 甲状腺结节多类别分类难的不是AI模型是“可信的数据集”甲状腺超声报告里最常见的结论是“TI-RADS 3类建议随访”或者“4a类建议穿刺”。但同样一个4类在不同医院、不同超声医生手里可能对应着完全不同的恶性概率。这句话翻译到AI任务里就是甲状腺结节分类、多类别识别的瓶颈从来不在模型结构而在数据集——标签凭什么可信。专业医疗AI数据集要解决的是把超声图像、结构化报告、病理结论和随访信息整理成一份能直接投入训练的分类数据而不是简单地把图片塞进文件夹然后跑个ResNet。这篇文章按“标签怎么定、数据怎么分、模型怎么训、坑在哪里、怎么验证”这条落地路径展开适合正在做医学影像分类的算法工程师、医学生以及想进医疗AI赛道但还没想清楚数据怎么下手的团队。2. 先定标签树再谈分类良恶性、TI-RADS与病理类型的多类别映射很多团队拿到甲状腺超声数据后第一件事就是写训练脚本这是最典型的顺序错误。数据集设计的第一步是拉上超声医生把“类别”这件事定义清楚否则后面所有指标都是空中楼阁。2.1 临床分类树二分类、TI-RADS分级与病理类型甲状腺结节在临床上有三个层级的分类需求对应的AI任务完全不同。第一层是良恶性二分类这是手术和随访决策的基线也是大多数医院最想要的模型能力。第二层是TI-RADS分级ACR版本把结节分成TR1到TR5TR1/2基本良性、TR3轻度可疑、TR4中度可疑、TR5高度可疑TR6则代表穿刺已证实恶性。注意TI-RADS是风险分层不是病理诊断它本质上是医生根据超声特征打出来的经验分。第三层是病理类型分类良性主流是结节性甲状腺肿、胶质结节、滤泡性腺瘤恶性主流是甲状腺乳头状癌、滤泡状癌、髓样癌其中乳头状癌占了恶性病例的大头。多类别识别这个任务多数情况下落在第三层让模型区分良性常见亚型和恶性常见亚型。一个常见的设计错误是把TI-RADS级别直接当疾病类型来训练模型学到的其实是“医生主观打分的规律”而不是结节本身的病理学差异。我习惯的做法是把良恶性二分类当主任务疾病亚型分类当副任务两张标签共用同一张ROI图但输出层分开走。2.2 用CSV定义多类别label映射从原始报告到训练标签数据集的载体不要用多层文件夹一份带完整字段的CSV比100个文件夹都可靠。下面这段代码处理的是最常见的原始数据形态医院导出的结构化超声报告表包含患者ID、图像路径、TI-RADS描述和病理报告文本。import pandas as pd import numpy as np raw pd.read_csv(thyroid_ultrasound_raw.csv) # 依据病理报告定义金标准良恶性标签 def map_malignant(path_text): if not isinstance(path_text, str): return -1 # 没有病理结果标记为缺失 positive_markers [乳头状癌, 滤泡状癌, 髓样癌, 未分化癌, 可疑癌细胞] return 1 if any(m in path_text for m in positive_markers) else 0 # 病理类型多类别互斥单标签 def map_subtype(path_text): if not isinstance(path_text, str): return -1 if 结节性甲状腺肿 in path_text or 胶质结节 in path_text: return 0 # 良性增生性结节 if 滤泡性腺瘤 in path_text: return 1 # 滤泡性腺瘤良性但需随访 if 乳头状癌 in path_text: return 2 # 乳头状癌最常见恶性亚型 if 滤泡状癌 in path_text or 滤泡性肿瘤 in path_text: return 3 # 滤泡性肿瘤病理上倾向手术 if 髓样癌 in path_text: return 4 return -1 raw[label_malignant] raw[pathology_report].apply(map_malignant) raw[label_subtype] raw[pathology_report].apply(map_subtype) # 没有病理结果的样本用TI-RADS4做弱标签 weak_mask raw[label_malignant] -1 raw.loc[weak_mask, label_malignant] ( raw.loc[weak_mask, tirads_report].astype(str).str.contains(4|5) ).astype(int) raw[is_weak_label] weak_mask.astype(int) raw.to_csv(thyroid_clean_labels.csv, indexFalse)这里的关键逻辑是先拿病理结果当金标准术后或穿刺病理是甲状腺结节诊断里最硬的证据。没有病理的样本用TI-RADS 4级及以上当弱标签补量但一定要通过is_weak_label字段把它们标记出来方便后续在训练里降权或只用于预训练阶段。标签映射的坑通常在细节里。“滤泡性肿瘤”不能简单归到恶性它在外科处理上偏积极但病理上不一定是癌混进恶性类会给模型引入矛盾样本。宁可多分一类也不要硬塞到现有类别里。2.3 数据量怎么估算金标准、弱标签与类别均衡模型训练前先做一道算术题否则后面很容易白忙活。下面是基于迁移学习在医疗小数据集上比较现实的数据量参考任务每类最低样本量标签来源用途主任务二分类每类1500-3000张ROI病理金标准为主弱标签补量正式训练多类别副任务每类300-500张ROI病理金标准亚型区分可接受略低全量预训练/自监督8000-10000张混合标签即可冷启动时先学通用超声特征这个量级不是拍脑袋而是ImageNet预训练权重迁移到灰度医疗图像的普遍经验。甲状腺超声公开数据集不像自然图像那样随手能爬公开影像档案和kaggle等竞赛渠道能拿到一部分数据但多类别标注极度稀缺多数项目最终要走医院合作脱敏标注的路。如果手里只有两三千张图别急着上ViT先把评测流程和数据清洗做扎实。3. 数据划分与预处理按患者分组、ROI裁剪和增强边界分类模型的训练代码大家都熟真正拉开项目差距的是数据管道上那些不容易被看见的决策。医疗影像数据的组织和预处理比模型结构更容易影响最终效果也更容易翻车。3.1 按患者ID划分数据集防泄漏的第一步也是最容易漏的一步同一个患者往往有多次超声记录、多个结节图像如果按图像随机划分同一患者的不同图像很可能同时出现在训练集和验证集里。模型这时候记住的不是“这个结节像不像恶性”而是“这个人的皮肤纹理、体位、设备参数长什么样”验证指标自然虚高。from sklearn.model_selection import GroupShuffleSplit df pd.read_csv(thyroid_clean_labels.csv) gss GroupShuffleSplit(n_splits1, test_size0.2, random_state42) train_idx, val_idx next(gss.split(df, groupsdf[patient_id])) train_df df.iloc[train_idx] val_df df.iloc[val_idx] # 关键检查两个集合的患者ID不允许重叠 overlap len(set(train_df[patient_id]) set(val_df[patient_id])) print(same patient overlap:, overlap)GroupShuffleSplit按patient_id分组后做随机划分保证同一个患者的全部图像落在同一侧。test_size这里的计算单位是患者组数而不是图像张数这个细节决定了验证集的实际规模别搞混。random_state42固定下来方便任何一次实验都能复现。划分完之后打印重叠集合是必须做的检查如果重叠不为0后面所有调参和指标对比都不可信。这个错一旦埋进项目早期后面发现了也没有后悔药整个实验基线要重跑。3.2 ROI裁剪与图像归一化让模型只看到结节不看到水印标尺原始超声图像四周通常带着探头参数、患者信息、标尺线和灰阶条。这些区域内是不变的和标签存在隐蔽的相关性模型非常容易借它们刷分。ROI裁剪到结节区域是医疗影像分类里绕不开的预处理。from PIL import Image import numpy as np def preprocess_roi(image_path, box, target_size(224, 224)): img Image.open(image_path).convert(L) # B超本质是灰度图 x1, y1, x2, y2 box pad int((x2 - x1) * 0.1) # 外扩10%保留结节边缘组织 x1 max(0, x1 - pad); y1 max(0, y1 - pad) x2 min(img.width, x2 pad); y2 min(img.height, y2 pad) roi img.crop((x1, y1, x2, y2)).resize(target_size, Image.BILINEAR) arr np.array(roi, dtypenp.float32) / 255.0 arr (arr - 0.4521) / 0.1972 # 用训练集统计的mean/std做标准化 return arrconvert(L)把可能带伪彩的超声图压成单通道甲状腺B超临床判读依赖的是灰度纹理和边界特征单通道足够同时还减少了过拟合空间。外扩10%是为了保留结节周围的晕圈和边界信息这对TI-RADS中的边缘评估非常关键裁剪得太干净反而丢特征。mean和std必须用整个训练集统计出来的值不能用单张图的min-max替代。超声图上的测量标尺和文字注释能遮就遮甚至可以用黑色掩膜直接盖掉别给模型留任何走捷径的线索。直方图匹配这类操作要谨慎它在多中心数据上能拉齐灰度分布但过度变换会磨掉微钙化这类关键纹理先跑一版不做任何直方图增强的基线再说。3.3 增强策略的边界医疗图不是自然图像别把语义翻转没了自然图像里水平翻转一只猫它还是一只猫但在甲状腺超声里旋转90度意味着探头扫查方位彻底变了结节的上下极关系、与周围组织的位置关系都会被破坏。如果数据集没有按左右叶区分标签体系水平翻转通常可以保留语义但垂直翻转和大幅旋转最好关掉。推荐的安全增强组合是水平翻转、±15度以内旋转、亮度对比度微调、少量高斯噪声。超声特有的斑点噪声模拟可以加但强度要小。不要为了凑增强多样性把旋转角度拉大或把噪声强度调高医疗图上增强过头练出来的模型热力图会落在你完全无法解释的位置上。4. 模型选型与训练配置从ResNet迁移学习到yolov8检测分类数据管道干净之后模型选型和训练配置才有意义。甲状腺结节分类场景下很多选择并不是“越新的模型越好”而是由数据量、任务接口和部署环境共同决定的。4.1 先定接口纯分类模型还是yolov8检测分类二阶段如果数据集里已经是裁剪好的ROI图直接上分类模型即可。如果手里只有整张超声图且结节位置未标定就需要先做目标检测再分类。常见做法是两阶段先拿yolov8这类检测框架在自己的数据集上把结节框出来再在裁剪后的ROI上做多类别分类。不要指望一个检测器同时把边界框和疾病亚型都分准。检测框任务关注的是“目标在哪”细粒度分类关注的是“目标是什么”两者的特征粒度是有冲突的。实际项目里经常发现检出框很准但框里的分类头精度上不去原因就在这里。数据量越小这个现象越明显。分类模型的选择顺序也有讲究数据量不大时先试ResNet34或者EfficientNet-B0数据量充足且产品有明确需求再上ViT-Small。甲状腺超声是纹理加边界特征预训练CNN在这类模态上的迁移效果非常成熟ViT在小样本下很容易过拟合调参成本也高。4.2 PyTorch迁移学习训练脚本ResNet34预训练权重起步import torch import torch.nn as nn from torchvision import models def build_model(num_classes2, pretrainedTrue): weights models.ResNet34_Weights.IMAGENET1K_V1 if pretrained else None model models.resnet34(weightsweights) in_features model.fc.in_features model.fc nn.Linear(in_features, num_classes) # 主干网络用低学习率分类头用稍高学习率 params [ {params: model.conv1.parameters(), lr: 1e-5}, {params: model.layer1.parameters(), lr: 1e-5}, {params: model.layer2.parameters(), lr: 1e-5}, {params: model.layer3.parameters(), lr: 1e-5}, {params: model.layer4.parameters(), lr: 1e-5}, {params: model.fc.parameters(), lr: 1e-4}, ] return model model build_model(num_classes2) criterion nn.BCEWithLogitsLoss(pos_weighttorch.tensor([3.0])) optimizer torch.optim.AdamW(params, weight_decay1e-4)固定backbone为低学习率、只让分类头用高学习率是医疗小样本迁移学习里的常规做法。直接全量微调会让预训练权重在几千张图上迅速过拟合后面验证集一看一个崩。BCEWithLogitsLoss把sigmoid和BCE合到一步计算数值上比分开算更可控。pos_weight3.0给恶性类更高的惩罚权重应对甲状腺结节数据里恶样例偏少的问题。这个值不是固定的取决于数据里恶性比例一般取负正样本比的1.5到3倍用验证集AUROC来调。多类别亚型分类时把num_classes改成实际类别数损失换成带class_weight的CrossEntropyLoss。4.3 损失函数怎么配二分类BCE、多分类CE与Focal Loss的取舍很多读者问二分类BCE是什么落地层面就是一句话BCE对每个样本输出单个logit配合pos_weight调整少数类权重是甲状腺结节良恶性分类最顺手的损失函数。多分类场景用带类别权重的交叉熵类别权重按训练集频率反比设置。Focal Loss在什么情况下才值得用正负样本比例超过1比20、简单样本占绝对主导时才看得出收益。甲状腺结节数据集恶性占比通常有20%到30%远没到极端失衡普通加权损失已经够用强行上Focal反而会让模型收敛变慢。标签平滑倒是值得一试0.05的平滑量对标注主观性带来的噪声有正面作用。4.4 一套可直接复现的训练参数表配置项二分类主任务多类别副任务输入分辨率224x224224或288BackboneResNet34 / EfficientNet-B0同上或EfficientNet-B1Batch Size32按显存调整32优化器AdamW主干1e-5/分类头1e-4相同学习率调度CosineAnnealing30轮相同损失函数BCEWithLogits pos_weightCE class_weight数据增强见3.3节组合相同Epoch30-50按早停截断30-50验证指标AUROC 敏感度/特异度混淆矩阵 各类别F1早停监控验证集AUROC15轮不涨就停。这些参数是常规起点而不是最优解医疗图训练调参的玄学感很强每换一批数据batch size、学习率和增强强度都要重新试一遍别指望一套参数打天下。5. 多类别识别必踩的坑数据泄露、类别不平衡与标签噪声的排查这一章写的是血泪经验汇总每个问题都对应真实项目里的翻车现场。现象、原因、解决方法三部分对号入座。5.1 验证集准确率95%独立测试掉到70%数据泄漏在作祟现象训练时验证集准确率刷到95%模型表现得近乎完美但到了另一家医院或另一个时间窗口的独立测试集上准确率直接掉到70%上下。团队第一反应通常是怀疑模型过拟合实际上多数是数据划分出了问题。原因最典型的是没有按患者ID分组同一患者的多次超声图像同时进入训练集和验证集。模型记住了这个患者独有的特征包括皮肤回声、体位角度、设备设置而不是结节本身。另一种隐蔽情况是按图像名截断字符提取患者ID时规则写错把不同的患者合并成了同一个人。解决用GroupShuffleSplit按患者严格分组并打印两集合的患者ID重叠数做检查。独立测试集必须来自完全没参与训练和验证的患者最好连采集时间窗口都隔开。这个错发现越晚代价越大实验基线一旦建立在这套错误划分上所有对比结论全要推翻。5.2 恶性样本太少模型学会了“全猜良性”现象整体准确率88%看着能交付。但一拉混淆矩阵恶性类别的召回率只有0.3。甲状腺结节数据里恶性占比可能只有10%到20%模型只要全预测良性就能拿到高准确率这本质上是在学训练集的先验分布。原因模型没有真正学会区分良恶性它只是在最小化整体损失而少数类贡献的损失太小。解决训练层面用pos_weight抬高恶性代价或者对恶性样本做过采样评估层面放弃accuracy主看AUROC、恶性敏感度和特异度。分类阈值也不要默认0.5在验证集上用Youden指数或固定的敏感度目标去选阈值比如临床要求“恶性召回不低于95%”时找一个满足这个条件的判定阈值再交付。5.3 超声报告不等于病理金标准标签噪声的根源现象训练标签直接用了超声医生写的TI-RADS诊断训练流程一路顺畅但到了真实场景里模型预测结果和术后病理对不上外科医生直接质疑模型价值。原因TI-RADS分级是医生根据超声特征做的风险打分带有主观性不是疾病诊断。不同医院甚至不同年资医生对“4a还是4b”的边界判断本身就不一致用这种主观标签做训练等于让模型去拟合医生偏好。解决有术后病理或穿刺病理的样本作为主训练集只带TI-RADS结论的样本当弱标签放进预训练阶段。如果病理结果覆盖不足至少抽取20%的样本做双医生复核标注算Cohen‘s Kappa一致性低于0.7就要考虑简化标签体系比如把5级压缩成3级先保证标签可信再谈类别粒度。5.4 换一家医院AUC掉一截多中心数据漂移现象A院数据上模型AUROC有0.92拿到B院之后掉到0.7左右团队第一反应是参数没调好实际上数据分布已经变了。原因不同厂商超声设备的灰度映射、探头频率、图像后处理差异很大连扫描深度和增益设置都会影响图像风格。病例构成也不同A院可能以体检人群为主B院可能是穿刺转诊中心恶性比例和结节大小分布完全不同。解决建数据集时分中心记录设备型号和采集参数训练时如果没有条件做复杂的域自适应至少做灰度归一化和ROI裁切去掉设备水印和参数文字。验证策略上按中心分组验证别把多中心数据混在一起随机划分就算完事那会掩盖漂移问题。5.5 增强过头让模型学到了错误先验旋转与翻转的边界现象训练集增强做了随机90度旋转和垂直翻转验证指标很漂亮但把Grad-CAM热力图叠到原图上高亮区域落在结节外的空腔或图像边缘医生完全无法接受。原因超声扫查有严格的方位预设把一张结节图旋转90度等于人为制造了临床上不会出现的扫查方向。模型从增强数据里学到的是“方向变了类别不变”这种错误先验再叠加高强度的对比度扰动微钙化点这类关键纹理被磨掉了。解决旋转限制在±15度以内水平翻转保留垂直翻转直接关掉。亮度对比度扰动幅度控制在10%上下。每次增强策略改动后用Grad-CAM抽查增强样本确认模型关注的区域仍然集中在结节团块上再做训练。6. 落地前最后一关Grad-CAM验证与临床评估指标模型在测试集上的数字再好看到了医生面前都只是“黑匣子”。医疗AI落地的最后一公里是可视化验证和临床语义对齐这一步不做好模型很难走出算法团队的电脑。6.1 用Grad-CAM看模型看的是结节还是伪影def grad_cam(model, img, layer): act, grad {}, {} layer.register_forward_hook(lambda m, i, o: act.update(oo)) layer.register_full_backward_hook(lambda m, gi, go: grad.update(ggo[0])) pred model(img.unsqueeze(0)) model.zero_grad() pred[0, 1].backward() # 二分类时对恶性logit求梯度 w grad[g].mean(dim(1, 2), keepdimTrue) cam (w * act[o]).sum(dim0).clamp(min0).squeeze() return torch.nn.functional.interpolate( cam[None, None], sizeimg.shape[-2:], modebilinear )Grad-CAM用最后一层卷积的梯度给空间位置加权高亮区域表示模型做判断时依据的像素。取model.layer4[-1]作为目标层输出的热力图叠加到原图上高亮应该集中在结节团块、边界和内部钙化点上。如果高亮落在图像角落的水印、标尺或正常腺体组织上说明模型走捷径了先回去查ROI裁剪和数据划分。6.2 用敏感度、特异度这类临床指标做验证AUC是排序指标临床决策需要的是阈值下的实操指标。交付前至少给出敏感度、特异度、阳性预测值和阴性预测值四个数字并明确阈值选取规则。甲状腺结节场景里敏感度通常优先考虑医生能接受的不是一个AUC值而是“阈值设在多少时模型可以做到不遗漏任何可疑结节”。同时做跨中心验证哪怕只是把数据按采集医院分成两个子集分别测一遍。单中心数据的模型宣传“泛化”是没有说服力的这个验证动作能提前暴露很多部署阶段才会出现的问题。6.3 进阶方向把临床特征并入做多模态分类只靠超声图像信息有天花板临床决策还要参考患者年龄、性别、TSH水平、结节大小等指标。把这些字段和图像特征拼起来做多模态分类并不复杂图像经ResNet主干提取embedding临床数值字段过一层MLP两者拼接后接分类头。前提是2.2节里设计CSV结构时就把这些字段一并保留否则后面想补都补不出来。二分类跑通后可以先验证单纯加入临床特征能否带来AUROC提升不行就退回图像单模态没必要为了“多模态”三个字徒增部署复杂度。我自己做甲状腺结节分类项目时最深的教训是先花了两周调模型后来发现数据划分时患者ID截断规则写错了等于两周实验全白跑。从那以后医疗影像项目的第一行代码永远是按患者分组划分每一版模型交付前强制跑一遍Grad-CAM再拿给医生看。希望帮到你。本文还有配套的精品资源点击获取