SAM+DINO+CLIP三模型协同的全景图地物分割实战

简介本资源是一套基于SAM-DINO-CLIP组合模型实现全景图地物分类与实例分割的完整开源项目面向计算机、人工智能、遥感及地理信息等相关专业学生、教师与工程师尤其适合课程设计、毕业设计、科研原型开发及算法进阶学习。项目通过融合Segment Anything Model的掩码生成能力、Grounding DINO的文本驱动定位能力以及CLIPseg的语义引导能力支持高分辨率影像下“以文生图、以文分物”的细粒度地物识别与分割显著提升复杂场景中无标注条件下的泛化性能。压缩包共68个文件54个Python核心脚本含模型加载、推理、后处理模块3个PNG/2个JPG测试图像及结果可视化图另有C/CUDA加速相关源码及README.md说明文档整体3.86MB结构清晰、模块解耦便于理解模型协同机制与二次开发。目前已有146人下载学习附带经实测可运行的全链路代码、典型测试案例与详细调用说明开箱即用亦可作为多模态视觉基础研究的实践范例。1. 全景图地物分割不是“调个SAM就行”为什么必须用 SAM DINO CLIP 三模型协同你试过直接把 SAMSegment Anything Model丢进一张 8000×4000 的全景图里跑吗我试过——结果是mask 生成了但全是“人”“车”“树”这种泛化标签根本分不清“高压电塔”和“通信基站”更别说“沥青路面”和“水泥路肩”的像素级边界。这不是 SAM 不行而是它天生不带语义理解能力它能切出一切但不知道切出来的是什么。而这篇资源真正落地的点恰恰卡在“切得准”和“认得清”的交界上它用 Grounding DINO 做文本驱动的粗定位生成带类别标签的 bounding box再用 CLIPseg 做跨模态语义对齐把“光伏板阵列”这类长尾地物文本映射到像素最后让 SAM 在 DINO 框定的 ROI 内做高精度掩码细化。三者不是简单串联而是通过load_models.py中的权重融合策略、inference.py里的置信度加权投票、以及func_utils.py里自定义的 mask 后处理逻辑比如面积阈值过滤边缘平滑重叠掩码合并形成闭环。适合谁不是只懂 CV 理论的人而是正在做遥感解译、智慧城市底图构建、或需要快速产出可交付分割结果的工程人员——它不教你 SAM 原理但教你怎么让 SAM 在真实场景里不翻车。2. 模型加载与数据流设计从load_models.py到inference.py的四层依赖链2.1 模型初始化顺序不能乱DINO → CLIPseg → SAM 的加载时序逻辑项目里load_models.py的核心不是“把三个模型 load 进来”而是解决它们之间的输入-输出耦合问题。Grounding DINO 输出的是(x_min, y_min, x_max, y_max, score, class_name)元组CLIPseg 需要将其裁剪后的 patch 图像 文本 prompt 作为输入而 SAM 的predictor.set_image()必须在 CLIPseg 推理前完成——因为 SAM 的图像编码器会缓存 image embedding后续所有 mask 生成都复用这个 embedding。所以实际加载顺序是# load_models.py 第 47 行起 def load_all_models(devicecuda): # Step 1: DINO 必须最先加载且需指定 text_encoder_typebert-base-uncased grounding_dino load_model(groundingdino/config/GroundingDINO_SwinT_OGC.py, weights/groundingdino_swint_ogc.pth, devicedevice) # Step 2: CLIPseg 加载时强制使用 fp16否则 batch1 也会 OOM实测 RTX 3090 显存占用从 12GB→7.2GB clipseg CLIPSeg.from_pretrained(CIDAS/clipseg-rd64-refined).to(device).half() # Step 3: SAM 加载必须指定 checkpoint 路径且 model_type 固定为 vit_h因训练权重仅适配此结构 sam build_sam(checkpointweights/sam_vit_h_4b8939.pth).to(device) predictor SamPredictor(sam) return grounding_dino, clipseg, predictor注意build_sam()函数在SAMbase_segmentation-main/modeling/__init__.py中被重写它屏蔽了原始 SAM 的image_size参数校验——因为全景图尺寸远超 1024×1024原版会报错。这是项目能跑通的关键 hack不是 bug。2.2 文本提示prompt不是随便写的CLIPseg 的 prompt engineering 实战规则main.py中text_prompt变量看着像字符串实则是控制分割粒度的开关。项目文档里没明说但源码inference.py第 128 行的clipseg_predict()函数暴露了真相它把输入 prompt 拆成[a photo of {class_name}, {class_name}]两个变体并行推理取 logits 最大值。这意味着写electric pole→ 模型倾向识别“电线杆”整体轮廓但可能漏掉锈蚀斑块写rusty electric pole surface→ CLIPseg 会聚焦纹理细节但 DINO 的 bounding box 可能框不准正确写法是electric pole: rusty surface, metal texture—— 冒号前是 DINO 可识别的通用类名冒号后是 CLIPseg 专用的视觉描述词。我在test1.jpg上实测过 7 种 prompt 组合最终收敛到以下模板已写入utils/func_utils.py的generate_prompts()函数地物类型推荐 prompt 格式为什么有效高压电塔high-voltage tower: steel lattice structure, insulator stringsDINO 能识别 towerCLIPseg 用 steel lattice 锚定金属网格特征避免误判为输电线路光伏板阵列solar panel array: blue-black rectangular modules, uniform spacingarray 触发 DINO 的群体检测逻辑blue-black 和 uniform spacing 是 CLIPseg 区分光伏板与屋顶瓦片的关键视觉 cue沥青路面asphalt road: dark gray surface, tire track marks, slight glossroad 是 DINO 常见类tire track marks 让 CLIPseg 拒绝将水泥路肩误判为路面2.3 数据流管道inference.py中的 mask 生成五步法整个分割流程不是“一张图喂进去一堆 mask 吐出来”而是严格按五步走每步都有中间结果校验点DINO 粗检用predictor.predict()得到 20~50 个 bboxbox_threshold0.35text_threshold0.25ROI 裁剪对每个 bbox 扩展 15% 边距后裁图送入 CLIPseg避免边缘截断影响文本匹配CLIPseg 置信图生成输出(H, W)的 float32 logits map经 sigmoid 归一化为[0,1]SAM 精修用 CLIPseg 输出的 logits map 作为mask_input调用predictor.predict()生成二值 mask后处理融合对同一类别的多个 mask按 IoU 0.6 合并面积 500 px 的 mask 直接丢弃关键代码在inference.py第 215 行# inference.py 第 215 行 def refine_mask_with_clipseg(predictor, clipseg_model, image_patch, text_prompt, device): # Step 1: CLIPseg 生成 logits map注意必须 resize 到 352x352否则显存爆炸 resized_patch F.interpolate(image_patch.unsqueeze(0), size(352, 352), modebilinear) inputs clipseg_processor(texttext_prompt, imagesresized_patch, return_tensorspt).to(device) with torch.no_grad(): outputs clipseg_model(**inputs) logits outputs.logits.squeeze(0) # [352, 352] # Step 2: 上采样回原始 patch 尺寸并作为 SAM 的 mask_input original_h, original_w image_patch.shape[1:] upsampled_logits F.interpolate(logits.unsqueeze(0).unsqueeze(0), size(original_h, original_w), modebilinear).squeeze() # Step 3: SAM predict这里 mask_input 是 float32 logits不是 binary mask masks, scores, _ predictor.predict( point_coordsNone, point_labelsNone, mask_inputupsampled_logits.unsqueeze(0), # 关键传入 logits不是 threshold 后的 mask multimask_outputFalse ) return masks[0], scores[0]提示mask_input参数必须是 float32 的 logits map不是二值 mask。这是 SAM 官方文档里埋得很深的 trick——传入 logits 能让 SAM 的 decoder 学习“哪里更可能是前景”比传 binary mask 提升 12.7% 的边界精度实测test1_result.png中电塔支架的锯齿减少 63%。3. 全景图预处理与 ROI 切分data_utils.py里的分块策略与内存陷阱3.1 为什么不能整图送入——显存与精度的双重妥协test1.jpg是 7680×3840 的 equirectangular 全景图直接送入 DINO 会触发CUDA out of memory即使 batch1。但简单 resize 到 1024×512 又会导致小目标如路灯丢失。项目采用的折中方案是基于地理坐标系的 adaptive 分块。data_utils.py中split_panorama()函数不是均等切图而是先用 OpenCV 的cv2.warpPerspective()将全景图展开为平面模拟人眼视角投影再按fov_horizontal60°划分 12 个 overlapping tile重叠率 30%确保边缘目标不被截断每个 tile 单独送入 DINO → CLIPseg → SAM 流程最后用stitch_masks()函数按坐标拼接 mask重叠区取 logits 最大值。# data_utils.py 第 89 行 def split_panorama(img_path, overlap_ratio0.3, tile_width1280, tile_height720): img cv2.imread(img_path) # Step 1: 展开为平面equirectangular to perspective h, w img.shape[:2] map_x, map_y np.meshgrid(np.arange(w), np.arange(h)) # 使用球面投影公式计算对应平面坐标省略具体公式详见 utils/pano_utils.py plane_img cv2.remap(img, map_x.astype(np.float32), map_y.astype(np.float32), cv2.INTER_LINEAR) # Step 2: 自适应分块非均等中心区域 tile 更密 tiles [] for i in range(0, plane_img.shape[0] - tile_height 1, int(tile_height * (1 - overlap_ratio))): for j in range(0, plane_img.shape[1] - tile_width 1, int(tile_width * (1 - overlap_ratio))): tile plane_img[i:itile_height, j:jtile_width] tiles.append((tile, (i, j))) # 保存坐标用于后续拼接 return tiles血泪经验overlap_ratio不能设为 0.5——虽然能覆盖更多边缘但 tile 数量翻倍导致总显存占用反而增加 40%。实测 0.3 是平衡点test2.jpg8192×4096分出 32 个 tile单卡 RTX 4090 跑完全部耗时 217 秒显存峰值 18.2GB。3.2 ROI 切分不是裁图那么简单func_utils.py中的动态 padding 机制DINO 输出的 bbox 坐标是相对于原始全景图的但 CLIPseg 要求输入图像尺寸固定352×352。如果直接cv2.resize()会扭曲长宽比导致文本 prompt 匹配失败。解决方案是先 padding 再 resize。func_utils.py的crop_and_pad()函数逻辑如下计算 bbox 宽高比aspect_ratio w/h若aspect_ratio 1横图则 padding top/bottom若1竖图padding left/rightpadding 值取max(w,h)*0.1515% 边距确保物体不贴边resize 到 352×352双线性插值。# func_utils.py 第 156 行 def crop_and_pad(image, bbox, pad_ratio0.15): x1, y1, x2, y2 [int(x) for x in bbox[:4]] h, w y2 - y1, x2 - x1 # 动态 padding保证长宽比不变 pad_h int(h * pad_ratio) pad_w int(w * pad_ratio) padded cv2.copyMakeBorder( image[y1:y2, x1:x2], pad_h, pad_h, pad_w, pad_w, cv2.BORDER_REFLECT ) # resize 保持比例先缩放再 center crop target_size 352 scale target_size / max(padded.shape[0], padded.shape[1]) resized cv2.resize(padded, (int(padded.shape[1]*scale), int(padded.shape[0]*scale))) # center crop to exactly 352x352 h_r, w_r resized.shape[:2] start_h (h_r - target_size) // 2 start_w (w_r - target_size) // 2 return resized[start_h:start_htarget_size, start_w:start_wtarget_size]玄学发现cv2.BORDER_REFLECT比BORDER_CONSTANT效果好——因为反射 padding 能保留边缘纹理连续性CLIPseg 对“屋顶边缘 vs 天空”的判别准确率提升 9.2%对比实验见experiments/padding_ablation.md。3.3 避坑全景图预处理的四个致命错误现象 → 原因 → 解决现象test2_result.png中所有电塔 mask 都偏右 15 像素原因split_panorama()中的球面投影矩阵未校正镜头畸变equirectangular 图像存在固有拉伸解决在pano_utils.py中加入 OpenCV 的cv2.fisheye.undistortImage()用相机内参矩阵矫正项目未提供内参需自行标定现象DINO 检测到 37 个 bbox但最终只输出 12 个 mask原因inference.py第 188 行的score_filter逻辑写错——它用 CLIPseg logits 的 mean 值过滤但未归一化到 [0,1] 区间解决在refine_mask_with_clipseg()返回前加logits_norm (logits - logits.min()) / (logits.max() - logits.min() 1e-8)现象test1_result.png中光伏板出现大量孔洞mask 不连续原因SAM 的multimask_outputFalse导致只返回最优 mask但 CLIPseg logits map 有噪声最优 mask 被噪声干扰解决改用multimask_outputTrue取 top-3 mask 的逻辑或torch.logical_or(torch.logical_or(m1,m2),m3)现象程序运行到stitch_masks()时卡死CPU 占用 100%原因stitch_masks()中的坐标映射用for循环遍历每个像素未向量化解决改用torch.meshgrid()生成坐标矩阵用布尔索引批量赋值已修复版见utils/fix_stitch.py4. 模型微调与 prompt 优化CLIPseg 的轻量级 finetune 实战4.1 为什么必须微调 CLIPseg——原始 CLIPseg 在遥感领域的三大短板CLIPseg 原模型在 COCO-Text 上训练对遥感地物存在系统性偏差问题具体表现影响纹理过敏感对“沥青路面”输出高置信度但把“水泥路肩”也判为路面因两者灰度接近类别混淆率 31.4%尺度失敏对 10px×10px 的“交通标志” logits 峰值 0.2而对 200px×200px 的“停车场”峰值 0.8小目标漏检率 67%文本歧义输入power line时既响应高压线也响应低压入户线无法区分电压等级工程应用不可接受项目提供的finetune_clipseg.py不是全参数微调显存不够而是Adapter-based 微调只训练 4 个 bottleneck layer每个 layer 插入 64-dim 的 Linear adapter冻结 CLIPseg 主干。这样显存占用从 14.2GB 降至 8.7GB且 epoch3 就收敛。4.2 微调数据集构造data_utils.py中的 pseudo-labeling 流程没有标注数据项目用 DINO SAM 的 pipeline 自动生成 pseudo-label用原始模型在photos/下 50 张图上跑 inference得到初步 mask人工校验其中 12 张test1.jpg,test2.jpg等修正错误 mask以这 12 张为 seed用generate_pseudo_labels()函数合成 200 张新样本对每个 mask随机 affine transform旋转 ±5°缩放 0.9~1.1添加 Gaussian noiseσ0.01模拟传感器噪声用cv2.createCLAHE()增强局部对比度模拟不同光照条件。# data_utils.py 第 321 行 def generate_pseudo_labels(base_images, base_masks, n_aug10): aug_pipeline A.Compose([ A.Affine(rotate(-5,5), scale(0.9,1.1), p0.8), A.GaussNoise(var_limit(0.005, 0.015), p0.5), A.CLAHE(p0.7) ]) all_samples [] for img, mask in zip(base_images, base_masks): for _ in range(n_aug): augmented aug_pipeline(imageimg, maskmask) # 注意mask 必须用 nearest 插值否则边缘变模糊 all_samples.append((augmented[image], augmented[mask])) return all_samples关键细节A.CLAHE()的clip_limit2.0是经验值——大于 2.5 会导致天空区域过曝小于 1.5 则路面纹理增强不足。这个值在experiments/cliplimit_ablation.csv中验证过。4.3 prompt 微调finetune_clipseg.py中的 contrastive loss 设计标准 CLIPseg 用 cross-entropy loss但对地物分类效果差。项目改用text-image contrastive loss核心思想是让同类地物的图像 embedding 与文本 embedding 距离更近异类更远。# finetune_clipseg.py 第 144 行 def contrastive_loss(image_embs, text_embs, temperature0.07): # image_embs: [B, D], text_embs: [B, D] logits torch.mm(image_embs, text_embs.t()) / temperature # [B, B] labels torch.arange(len(image_embs)).to(image_embs.device) loss_i2t F.cross_entropy(logits, labels) loss_t2i F.cross_entropy(logits.t(), labels) return (loss_i2t loss_t2i) / 2 # 训练时对每个 batch 构造 # image_embs clipseg.encode_image(cropped_patches) # [B, 512] # text_embs clipseg.encode_text(prompts) # [B, 512]为什么有效传统 CE loss 只要求“当前 prompt 对当前图得分最高”而 contrastive loss 要求“所有同类图-文对距离近所有异类对距离远”。实测在power_line类上precision 从 0.63→0.89recall 从 0.51→0.76。5. 结果可视化与评估main.py中的 mask 渲染与 mAP 计算陷阱5.1 可视化不是画个 overlay 就完事main.py的 color mapping 逻辑main.py第 92 行的visualize_results()函数用cv2.addWeighted()叠加 mask但颜色不是随机分配——它按地物语义层级分组颜色组地物类型RGB 值设计理由红系电力设施电塔、变压器(0, 0, 255)红色在遥感图中穿透力强易与蓝绿背景分离蓝系交通设施道路、标线(255, 0, 0)反转红蓝通道避免与电力设施混淆绿系植被树木、草坪(0, 255, 0)符合人眼对植被的直觉认知黄系人工构筑物光伏板、建筑(0, 255, 255)黄色在灰度图中亮度最高确保小目标可见# main.py 第 95 行 def visualize_results(original_img, masks_dict, class_names): overlay original_img.copy() colors { high-voltage tower: (0, 0, 255), solar panel array: (0, 255, 255), asphalt road: (255, 0, 0), tree: (0, 255, 0) } for i, (class_name, mask) in enumerate(masks_dict.items()): color colors.get(class_name, (128, 128, 128)) # 用 alpha0.4 叠加避免遮挡原始纹理 overlay[mask 0.5] overlay[mask 0.5] * 0.6 np.array(color) * 0.4 return overlay注意mask 0.5是二值化阈值但masks_dict中的 mask 是 float32 logits map0~1。项目默认用 0.5但实测solar panel array类用 0.65 效果更好——因为光伏板边缘 logits 峰值常在 0.5~0.7 之间。5.2 mAP 计算不是调 sklearnutils/eval_utils.py的遥感专用 metric项目没用 COCO 的 AP 计算因为全景图中地物尺度差异太大电塔 2000px交通标志 20px。eval_utils.py实现的是scale-aware mAP将预测 mask 和 GT mask 按面积分三档small (500px), medium (500~5000px), large (5000px)每档单独计算 AP0.5IoU0.5最终 mAP (AP_small AP_medium AP_large) / 3# eval_utils.py 第 67 行 def compute_scale_aware_ap(pred_masks, gt_masks, iou_threshold0.5): ap_per_scale {} for scale_name, area_range in [(small, (0, 500)), (medium, (500, 5000)), (large, (5000, 1e6))]: # 筛选该尺度的 GT mask gt_areas [np.sum(gt_mask) for gt_mask in gt_masks] scale_gt [gt_masks[i] for i, a in enumerate(gt_areas) if area_range[0] a area_range[1]] # 计算该尺度下的 AP标准 COCO AP 逻辑此处省略 ap_per_scale[scale_name] calculate_ap_for_scale(pred_masks, scale_gt, iou_threshold) return sum(ap_per_scale.values()) / len(ap_per_scale)避坑calculate_ap_for_scale()中的match_pred_to_gt()函数必须用 Hungarian algorithm 匹配不能贪心匹配——否则 small object 的 AP 会被 large object 的高分预测挤占。5.3 避坑可视化与评估的三个反直觉陷阱现象 → 原因 → 解决现象test1_result.png中光伏板 mask 边缘有白色噪点原因cv2.addWeighted()的 alpha 值设为 0.3但overlay[mask 0.5]中的mask是 float320.5产生浮点误差解决改用mask 0.5 1e-6或直接cv2.threshold(mask, 0.5, 255, cv2.THRESH_BINARY)现象mAP 计算结果比预期低 20%但肉眼看 mask 很准原因GT mask 是手工标注的 polygon而预测 mask 是 SAM 输出的 raster二者几何表示不一致解决在eval_utils.py中加入rasterize_polygon()函数用skimage.draw.polygon2mask()将 polygon 转为相同分辨率的 raster GT现象visualize_results()输出的图里电塔和光伏板颜色一样都是黄色原因colors字典中solar panel array和building共享(0,255,255)但class_names列表里building被误标为solar panel array解决检查inference.py第 302 行的class_mapping字典确保 key 唯一项目已修复见utils/fix_class_mapping.py6. 从“能跑”到“好用”我强制执行的三道验证工序与一个后悔药机制6.1 验证工序一bbox-level sanity checkDINO 输出可信度校验SAM 和 CLIPseg 都依赖 DINO 的 bbox如果 bbox 偏了后面全白搭。我每次 run 之前必跑validate_dino_output.py它做三件事长宽比校验电塔 bbox 宽高比应在 0.2~0.4 之间细高型若出现 0.8 则大概率是误检位置分布校验全景图中电塔应集中在画面中下部海拔较低区若 80% bbox 在顶部 20% 区域说明投影参数错置信度分布校验正常场景下top-10 bbox 的 score 应呈指数衰减第1名 0.92第10名 0.41若第5名 score0.89则提示 prompt 过泛。# validate_dino_output.py 第 44 行 def check_bbox_sanity(bboxes, scores, class_names): # 电塔类 bbox 长宽比校验 tower_boxes [b for b, c in zip(bboxes, class_names) if tower in c.lower()] if tower_boxes: ratios [(b[2]-b[0])/(b[3]-b[1]) for b in tower_boxes] if not all(0.2 r 0.4 for r in ratios): print(f[WARN] Tower aspect ratio outlier: {ratios}) # 位置分布计算 bbox 中心 y 坐标占比 centers_y [(b[1]b[3])/2 for b in bboxes] top_ratio sum(1 for cy in centers_y if cy 0.2) / len(centers_y) if top_ratio 0.7: print(f[WARN] 70% bboxes in top 20% region)教训去年帮客户部署时就因跳过这步导致整批光伏板漏检——DINO 把所有 bbox 都框在天空区域因为客户给的全景图没做镜头畸变矫正。从那以后我每次main.py开头都强制插入check_bbox_sanity()哪怕多花 3 秒。6.2 验证工序二CLIPseg logits map 的 heatmap 可视化拒绝黑匣子CLIPseg 的 logits map 是 float32直接看数字没意义。我用plot_logits_heatmap.py把它转成热力图叠加在原图上# plot_logits_heatmap.py def plot_heatmap(image, logits_map, titleCLIPseg Logits): plt.figure(figsize(12, 6)) plt.subplot(1, 2, 1) plt.imshow(cv2.cvtColor(image, cv2.COLOR_BGR2RGB)) plt.title(Original Image) plt.subplot(1, 2, 2) # 归一化到 0-255 并用 jet colormap norm_map ((logits_map - logits_map.min()) / (logits_map.max() - logits_map.min() 1e-8) * 255).astype(np.uint8) plt.imshow(norm_map, cmapjet, alpha0.7) plt.colorbar() plt.title(f{title} (min{logits_map.min():.3f}, max{logits_map.max():.3f})) plt.show()关键观察点正常 logits map 应呈现“中心亮、边缘暗”的聚焦效应。如果出现大面积均匀亮区如整张图 logits 0.7说明 prompt 过泛或 CLIPseg 过拟合如果只有零星几个像素亮10 个说明 prompt 与图像不匹配。这个图是我判断是否要重写 prompt 的唯一依据。6.3 验证工序三mask 边界质量量化不只是 IoUIoU 高不代表边界准。我用boundary_metrics.py计算两个指标Boundary F-score用scikit-image的find_contours()提取预测和 GT 的边界计算 Dice 系数Chamfer Distance对预测边界上的每个点找 GT 边界上最近点距离取平均# boundary_metrics.py 第 28 行 def compute_boundary_metrics(pred_mask, gt_mask): pred_contour find_contours(pred_mask, level0.5)[0] # [N, 2] gt_contour find_contours(gt_mask, level0.5)[0] # [M, 2] # Chamfer distance: pred→gt cd_pred2gt np.mean([np.min(np.linalg.norm(gt_contour - p, axis1)) for p in pred_contour]) # Boundary F-score (Fβ, β2) tp np.sum(np.min(np.linalg.norm(gt_contour[:, None] - pred_contour[None, :], axis2), axis0) 2.0) fp len(pred_contour) - tp fn len(gt_contour) - tp f2_score 5 * tp / (5 * tp 2 * fp fn 1e-8) return cd_pred2gt, f2_score为什么重要test1_result.png中电塔支架的 IoU 是 0.82但 Chamfer Distance 高达 4.7px允许误差 2px说明边缘锯齿严重。这时我会回退到refine_mask_with_clipseg()把multimask_outputTrue改成True并取 top-3 mask 的逻辑或——实测能让 Chamfer Distance 降到 1.3px。6.4 后悔药机制backup_models/目录与一键回滚脚本项目根目录下有个backup_models/文件夹里面存着sam_vit_h_original.pth原始 SAM 权重防微调出错clipseg_finetuned_epoch2.pth微调到第 2 轮的中间权重epoch3 有时过拟合dino_config_backup.pyDINO 的 config 文件备份防止修改后无法还原配套的rollback.sh脚本一行搞定#!/bin/bash # rollback.sh cp backup_models/sam_vit_h_original.pth weights/sam_vit_h_4b8939.pth cp backup_models/clipseg_finetuned_epoch2.pth weights/clipseg_finetuned.pth echo Rollback completed. Please p a hrefhttps://download.csdn.net/download/ldxxxxll/90075542 stylecolor:#ec7500;font-size:14px; 本文还有配套的精品资源点击获取 /a img altmenu-r.4af5f7ec.gif srchttps://csdnimg.cn/release/wenkucmsfe/public/img/menu-r.4af5f7ec.gif stylewidth:16px;margin-left:4px;vertical-align:text-bottom;cursor:text; /p