森林火灾图像分类数据集实战：从数据清洗到模型微调与可解释性验证

简介这份森林火灾图像分类数据集面向计算机视觉学习者与火灾监测方向的研究者提供约13,000张已标注图像按有火、无火两类组织并划分训练集与测试集可直接用于图像分类模型的训练与泛化能力验证。资源包共2000个文件以jpg图像为主体另含1个py可视化脚本与1个json标注文件压缩包约338.73MB运行show脚本即可直观查看各类样本分布与图像样貌。目前已有437人学习下载适合入门图像分类实战或作为火灾识别项目的练手数据。借助该数据集读者可快速搭建二分类基线、验证网络改进效果并结合配套的图像分类网络改进与计算机视觉项目文章理解数据增强、模型调参与评估流程为森林火情实时监测等应用积累可复用的实践经验。1. 森林火灾图像分类数据集13000 张标注图到底能训出什么模型拿到一个约 13000 张、已经标注好的森林火灾图像分类数据集第一反应不该是「赶紧上模型」而是先想清楚它能解决什么业务问题。森林火灾早期识别、无人机巡检自动告警、瞭望塔摄像头智能分析这些场景本质上都是同一件事给一张图判断它属于「火焰」「烟雾」还是「正常林地」。分类任务比检测简单但对数据质量更敏感因为一张错标图就可能让模型学到完全错误的纹理特征。这个数据集的价值在于省掉了最耗时的采集和标注环节。13000 张的量级按 8:1:1 划分训练集约 10400 张验证集和测试集各 1300 张足够从零训练一个中等规模的卷积网络也够对 Transformer 图像分类模型做微调。适合谁用做智慧林业、电力巡检、应急管理方向的一线算法工程师以及需要快速验证火灾识别可行性的团队。不适合直接拿来做像素级分割或目标检测那是另一套标注格式的事。2. 先搞清楚标注格式和类别分布再谈训练2.1 图像分类数据集的三种常见组织方式拿到数据集先别急着写 DataLoader用几行命令把目录结构摸清楚。图像分类数据集常见三种组织方式按类别分文件夹ImageFolder 格式、CSV 标注文件image_path,label、以及 COCO 风格的 JSON。森林火灾数据集因为标注来源不同可能是前两种之一。先跑一段脚本统计每个类别的图片数量和尺寸分布这一步能提前暴露类别不平衡和坏图问题。import os from collections import Counter from PIL import Image root forest_fire_dataset class_counts Counter() size_buckets Counter() bad_files [] for cls in os.listdir(root): cls_dir os.path.join(root, cls) if not os.path.isdir(cls_dir): continue for fname in os.listdir(cls_dir): fpath os.path.join(cls_dir, fname) try: with Image.open(fpath) as im: w, h im.size # 按宽高比粗略分桶便于发现异常尺寸 ratio round(w / h, 1) size_buckets[ratio] 1 class_counts[cls] 1 except Exception as e: bad_files.append((fpath, str(e))) print(类别分布:, class_counts) print(宽高比分布:, size_buckets.most_common(10)) print(损坏文件数:, len(bad_files))这段脚本做了三件事统计类别数量、统计宽高比分布、记录无法打开的文件。参数上root换成你的数据集根目录即可。如果发现某个类别只有几百张而另一个有上万张后面训练时必须用加权采样或 focal loss。宽高比如果集中在 1.0 到 1.5 之间说明图片大多是常规横拍resize 到 224×224 或 384×384 不会严重变形。损坏文件直接删掉或修复别让它们进训练流程。2.2 类别不平衡与标注噪声的快速判断森林火灾分类数据集最常见的两个坑一是「正常林地」样本远多于「火焰」和「烟雾」因为火灾本身是小概率事件二是烟雾和云雾、晨雾容易混标。判断标注噪声有个土办法用预训练模型提取特征做一次简单的聚类看同一类内部是否分裂成明显两簇。如果「烟雾」类里有一簇和「正常林地」的某簇高度重叠大概率存在系统性误标。import torch import torchvision.models as models import torchvision.transforms as T from sklearn.cluster import KMeans import numpy as np # 用 ImageNet 预训练 ResNet18 提取特征不训练只看分布 model models.resnet18(weightsmodels.ResNet18_Weights.DEFAULT) model.fc torch.nn.Identity() model.eval() transform T.Compose([ T.Resize((224, 224)), T.ToTensor(), T.Normalize(mean[0.485, 0.456, 0.406], std[0.229, 0.224, 0.225]), ]) # 假设已经有一个 list: samples [(img_path, label), ...] features, labels [], [] with torch.no_grad(): for path, label in samples[:2000]: # 先抽样 2000 张看趋势 img Image.open(path).convert(RGB) x transform(img).unsqueeze(0) feat model(x).squeeze().numpy() features.append(feat) labels.append(label) features np.array(features) kmeans KMeans(n_clusters6, random_state42).fit(features) print(聚类分布:, np.bincount(kmeans.labels_))这里用预训练 ResNet18 去掉全连接层当特征提取器对每张图输出 512 维向量再跑 KMeans。参数n_clusters设成类别数的两倍左右方便观察类内分裂。如果某个类别的样本在聚类结果里被拆到多个簇且这些簇和其他类别混在一起就要人工复查那部分图片。这一步不追求精确目的是用最小成本发现「数据本身有问题」的信号避免后面调参调到怀疑人生。3. 从零训练还是微调森林火灾分类的选型与参数3.1 用 timm 加载预训练模型做微调的最小流程森林火灾图像和 ImageNet 的自然图像差异不算太大火焰和烟雾的纹理、颜色特征在预训练模型里已经有不错的底层表示。我一般会优先选timm里的efficientnet_b0或convnext_tiny做微调而不是从零训 ResNet。13000 张图从零训容易过拟合微调收敛快且最终精度通常高 5 到 10 个百分点。import timm import torch import torch.nn as nn from torch.utils.data import DataLoader from torchvision.datasets import ImageFolder from torchvision import transforms # 数据增强火灾场景要保留颜色信息别用太激进的色彩抖动 train_tf transforms.Compose([ transforms.Resize((256, 256)), transforms.RandomCrop(224), transforms.RandomHorizontalFlip(), transforms.RandomRotation(15), transforms.ColorJitter(brightness0.2, contrast0.2, saturation0.1), transforms.ToTensor(), transforms.Normalize([0.485, 0.456, 0.406], [0.229, 0.224, 0.225]), ]) val_tf transforms.Compose([ transforms.Resize((224, 224)), transforms.ToTensor(), transforms.Normalize([0.485, 0.456, 0.406], [0.229, 0.224, 0.225]), ]) train_ds ImageFolder(dataset/train, transformtrain_tf) val_ds ImageFolder(dataset/val, transformval_tf) train_loader DataLoader(train_ds, batch_size32, shuffleTrue, num_workers4) val_loader DataLoader(val_ds, batch_size32, shuffleFalse, num_workers4) model timm.create_model(efficientnet_b0, pretrainedTrue, num_classes3) criterion nn.CrossEntropyLoss() optimizer torch.optim.AdamW(model.parameters(), lr1e-4, weight_decay1e-4) scheduler torch.optim.lr_scheduler.CosineAnnealingLR(optimizer, T_max20) device torch.device(cuda if torch.cuda.is_available() else cpu) model.to(device) for epoch in range(20): model.train() for imgs, labels in train_loader: imgs, labels imgs.to(device), labels.to(device) optimizer.zero_grad() loss criterion(model(imgs), labels) loss.backward() optimizer.step() scheduler.step() # 验证略实际训练时每个 epoch 后跑 val_loader 记录 acc关键参数说明lr1e-4是微调的常用起点如果 loss 震荡明显降到5e-5weight_decay1e-4抑制过拟合CosineAnnealingLR的T_max设成总 epoch 数让学习率平滑降到接近零。数据增强里ColorJitter的saturation只给 0.1因为火焰的橙红色是重要判别特征饱和度扰动太大会把火和晚霞搞混。RandomRotation(15)模拟无人机不同角度拍摄但别超过 30 度否则烟雾方向特征会被破坏。3.2 类别权重和阈值调整让漏报率降下来森林火灾场景里漏报一张火焰图的代价远大于误报。训练时给「火焰」和「烟雾」类更高的损失权重推理时再调低这两类的判定阈值。CrossEntropyLoss的weight参数直接传一个和类别数等长的张量权重按类别频率的倒数来设。# 假设类别顺序: [fire, smoke, normal]数量分别为 2000, 3000, 8000 class_counts torch.tensor([2000.0, 3000.0, 8000.0]) class_weights 1.0 / class_counts class_weights class_weights / class_weights.sum() * len(class_counts) criterion nn.CrossEntropyLoss(weightclass_weights.to(device)) # 推理时对 fire 和 smoke 的 logit 加一个偏置降低漏报 model.eval() with torch.no_grad(): logits model(imgs) # 给前两类加 0.5 的偏置相当于降低判定门槛 logits[:, 0] 0.5 logits[:, 1] 0.5 preds logits.argmax(dim1)权重计算逻辑是「频率越低权重越高」再归一化到均值为 1 附近避免整体 loss 尺度变化太大。推理偏置0.5是个经验值实际要在验证集上画 PR 曲线找到漏报和误报的平衡点。如果业务要求「宁可误报不可漏报」偏置可以加到 1.0 甚至更高代价是正常林地被误判为烟雾的概率上升。这个取舍没有标准答案取决于你的告警后续处理成本。4. 避坑与排查森林火灾分类数据集训练中的五个血泪教训4.1 现象验证集准确率 99%上线后一塌糊涂原因训练集和验证集来自同一批连续视频帧相邻帧高度相似导致验证集泄漏。模型记住了背景而不是火焰特征。解决按视频来源或时间段划分数据集确保验证集的场景和训练集不重叠。如果数据集没有来源信息用图像哈希去重后再随机划分。4.2 现象模型把晚霞全部判成火焰原因数据集中「火焰」类包含了大量黄昏时分的火灾图模型学到了「橙红色天空 火焰」的捷径。解决检查火焰类里是否有非火灾的暖色场景必要时补充负样本同时在增强里加入色相扰动迫使模型关注纹理而非纯颜色。4.3 现象训练 loss 正常下降但验证 loss 从第 3 个 epoch 开始飙升原因学习率太大或 batch size 太小导致过拟合。13000 张图用 batch size 8 配 1e-3 的学习率基本必炸。解决batch size 至少 32学习率降到 1e-4 以下加 weight decay 和早停。如果显存不够用梯度累积模拟大 batch。4.4 现象烟雾类召回率始终低于 60%原因烟雾标注边界模糊很多薄雾、远景烟被标成了正常。解决把置信度低的烟雾样本单独拿出来人工复查或者用半监督方式给未标注的烟雾图打伪标签。另一个办法是改用二阶段先检测疑似烟雾区域再分类。4.5 现象推理速度在 CPU 上慢到无法接受原因用了efficientnet_b0但输入分辨率设成 512×512CPU 单张推理超过 500ms。解决降到 224×224或者换mobilenetv3这类轻量骨干。如果必须高分辨率用 ONNX Runtime 或 OpenVINO 做推理优化通常能提速 2 到 3 倍。5. 用混淆矩阵和 Grad-CAM 验证模型到底看哪里训练完不是看一个 accuracy 就完事。森林火灾分类的验收标准应该是火焰类召回率、烟雾类召回率、以及误报率三个指标同时达标。用混淆矩阵定位具体错法再用 Grad-CAM 看模型注意力是否落在火焰和烟雾区域而不是背景的云或树。import matplotlib.pyplot as plt from sklearn.metrics import confusion_matrix, ConfusionMatrixDisplay from pytorch_grad_cam import GradCAM from pytorch_grad_cam.utils.image import show_cam_on_image # 混淆矩阵 all_preds, all_labels [], [] model.eval() with torch.no_grad(): for imgs, labels in val_loader: preds model(imgs.to(device)).argmax(dim1).cpu().numpy() all_preds.extend(preds) all_labels.extend(labels.numpy()) cm confusion_matrix(all_labels, all_preds) ConfusionMatrixDisplay(cm, display_labels[fire, smoke, normal]).plot() plt.savefig(confusion_matrix.png) # Grad-CAM 看注意力 target_layers [model.conv_head] # efficientnet_b0 的最后一层卷积 cam GradCAM(modelmodel, target_layerstarget_layers) grayscale_cam cam(input_tensorimgs[:1].to(device)) visualization show_cam_on_image( imgs[0].permute(1, 2, 0).cpu().numpy() * 0.5 0.5, grayscale_cam[0], use_rgbTrue ) plt.imsave(gradcam_sample.png, visualization)混淆矩阵重点看非对角线元素如果smoke被大量判成normal说明烟雾特征学得不够如果normal被大量判成fire说明误报严重。Grad-CAM 的热力图如果集中在图片边缘或天空区域而不是火焰主体说明模型走了捷径需要回头检查数据增强和负样本。target_layers根据你用的骨干调整conv_head是 EfficientNet 的最后一层卷积换成 ResNet 就用layer4。我自己的习惯是每次训完模型先跑混淆矩阵再抽 20 张错分图看 Grad-CAM最后才决定要不要调参。这个顺序能避免在错误的方向上浪费算力。森林火灾分类数据集的质量决定了上限模型和参数只是逼近这个上限的手段。希望帮到你。本文还有配套的精品资源点击获取