基于改进YOLOv8与DeepSeek微调的智能交通监控问答系统实战

简介这份资源是面向计算机科学与技术专业学生的智能交通监控与问答系统完整项目源码适用于课程设计、期末大作业或毕业设计场景帮助读者将计算机视觉与自然语言处理理论落地到实际工程中。压缩包共50个文件、约50.62MB以9个Python脚本承载检测、推理、数据库与Web服务逻辑2个pt权重文件提供模型参数另有html、css、js构成前端交互页面xml与csv用于数据标注和记录jpg、png为训练与效果图整体结构清晰、模块划分明确。项目将改进版YOLOv8目标检测与DeepSeek微调技术结合可对交通场景中的车辆与行人进行识别跟踪并借助问答模块以文字交互方式获取监控信息体现了多学科交叉的实践思路。目前已有91人学习关注读者可通过分析源码理解算法调用、接口设计与前后端协作方式积累调试与二次开发经验为后续科研或工程实践打下基础。1. 从一张监控截图到一句自然语言回答这套系统到底在做什么路口摄像头拍到一辆车压了实线传统做法是检测框画出来、存一张图、等人工翻查。而「基于改进YOLOv8与DeepSeek微调的智能交通监控与问答系统」想干的事更近一步检测模型负责从画面里把车、人、车牌、交通标志这些目标框出来语言模型负责把结构化结果翻译成人能直接问、直接答的句子。你问它「刚才那辆白色轿车压线了吗」它不该回你一堆坐标而该回「是的15:32:07 在解放路东向西方向白色轿车前轮压到实线」。这套东西适合谁做毕设和课设的本科生、研究生手里有一块 GPU 或者愿意用 CPU 慢慢跑想同时把 YOLOv8 目标检测和大模型微调两条线串起来。它解决的核心痛点是检测模型输出的是冷冰冰的类别和坐标业务方看不懂大模型懂语言但看不见画面。把两者接起来中间加一层结构化转换和微调就能让监控系统从「记录工具」变成「能对话的助手」。改进 YOLOv8 负责看得准DeepSeek 微调负责答得对中间的数据管道决定这套系统能不能真正跑起来。2. 改进 YOLOv8 在交通场景里改什么从注意力模块到损失函数2.1 为什么原版 YOLOv8 在交通监控里会漏检小目标YOLOv8 本身在 COCO 上表现不差但交通监控有几个特殊之处画面里目标尺度差异极大近处卡车占半屏远处电动车只有十几个像素遮挡严重公交车挡住后面三辆车是常态光照变化剧烈隧道出入口、夜间补光灯、逆光车牌都会让特征变得不稳定。原版 YOLOv8 的 PAN-FPN 结构在浅层特征上做融合时小目标的细节已经被多次下采样丢得差不多了。常见改进方向有三个一是在 backbone 末端加注意力模块比如 CBAM 或 EMA让网络自己学会「看哪里」二是改 neck 结构用 BiFPN 替代 PAN-FPN增加跨尺度连接三是换损失函数把 CIoU 换成 WIoU 或 EIoU让回归更关注中等质量锚框。我一般会先加 EMA 注意力因为它在交通场景里对小目标和遮挡的增益比较稳定参数量增加也可控。2.2 用 EMA 注意力改造 YOLOv8 的最小代码改动下面这段代码展示如何在 YOLOv8 的 backbone 里插入 EMA 模块。假设你用的是 ultralytics 框架先找到ultralytics/nn/modules/block.py在文件末尾加上 EMA 类然后在ultralytics/nn/modules/__init__.py里导出。import torch import torch.nn as nn class EMA(nn.Module): EMA注意力模块对通道分组后做跨空间学习 def __init__(self, channels, factor8): super().__init__() self.groups factor assert channels // self.groups 0 self.softmax nn.Softmax(-1) self.agp nn.AdaptiveAvgPool2d((1, 1)) self.pool_h nn.AdaptiveAvgPool2d((None, 1)) self.pool_w nn.AdaptiveAvgPool2d((1, None)) self.gn nn.GroupNorm(channels // self.groups, channels // self.groups) self.conv1x1 nn.Conv2d(channels // self.groups, channels // self.groups, kernel_size1) self.conv3x3 nn.Conv2d(channels // self.groups, channels // self.groups, kernel_size3, padding1) def forward(self, x): b, c, h, w x.size() group_x x.reshape(b * self.groups, -1, h, w) # 分组 x_h self.pool_h(group_x) # 沿高度池化 x_w self.pool_w(group_x).permute(0, 1, 3, 2) # 沿宽度池化 hw self.conv1x1(torch.cat([x_h, x_w], dim2)) x_h, x_w torch.split(hw, [h, w], dim2) x1 self.gn(group_x * x_h.sigmoid() * x_w.permute(0, 1, 3, 2).sigmoid()) x2 self.conv3x3(group_x) x11 self.softmax(self.agp(x1).reshape(b * self.groups, -1, 1).permute(0, 2, 1)) x12 x2.reshape(b * self.groups, c // self.groups, -1) x21 self.softmax(self.agp(x2).reshape(b * self.groups, -1, 1).permute(0, 2, 1)) x22 x1.reshape(b * self.groups, c // self.groups, -1) weights (torch.matmul(x11, x12) torch.matmul(x21, x22)).reshape(b * self.groups, 1, h, w) return (group_x * weights.sigmoid()).reshape(b, c, h, w)逻辑说明EMA 先把通道分成 8 组每组独立做高度和宽度方向的特征池化然后通过 1x1 卷积和 GroupNorm 生成跨空间的注意力权重。最后用 sigmoid 归一化后乘回原特征。参数factor8控制分组数交通场景里目标类别不多8 组足够如果数据集类别超过 20 类可以调到 16。插入位置建议在 backbone 的 C2f 模块之后、SPPF 之前这样浅层细节还没完全丢失。2.3 损失函数换成 WIoU 后训练曲线怎么读WIoU 的核心思想是给不同质量的锚框动态分配梯度增益避免低质量样本产生过大梯度。在ultralytics/utils/loss.py里找到BboxLoss类把self.iou_loss的调用换成 WIoU 计算。训练时重点看train/box_loss曲线如果前 20 个 epoch 下降速度比 CIoU 快但 50 epoch 后出现震荡说明动态增益系数alpha设大了从默认 1.9 降到 1.5 试试。验证集上的metrics/mAP50-95如果比基线高 1.5 个点以上这次改动就值得保留。3. DeepSeek 微调做交通问答数据构造比调参更重要3.1 把检测结果转成问答对JSON 数据集长什么样大模型微调最怕的是数据质量差。交通监控场景里你需要把 YOLOv8 的输出类别、坐标、置信度、时间戳和人工标注的问答对起来。常见做法是写一个转换脚本把每帧检测结果拼成自然语言描述再让标注人员写对应的问答。下面是一个数据构造的 Python 脚本示例import json def det_to_qa(detections, timestamp, location): 把单帧检测结果转成问答对列表 qa_pairs [] # 统计目标 counts {} for det in detections: cls_name det[class_name] counts[cls_name] counts.get(cls_name, 0) 1 # 构造描述 desc_parts [] for cls_name, cnt in counts.items(): desc_parts.append(f{cnt}辆{cls_name} if 车 in cls_name else f{cnt}个{cls_name}) desc 、.join(desc_parts) # 问题1画面里有什么 qa_pairs.append({ instruction: 画面里有哪些交通目标, input: f时间{timestamp}地点{location}, output: f检测到{desc}。 }) # 问题2具体位置 for det in detections: if det[confidence] 0.6: x_center (det[bbox][0] det[bbox][2]) / 2 pos 左侧 if x_center 0.33 else (中间 if x_center 0.66 else 右侧) qa_pairs.append({ instruction: f{det[class_name]}在画面什么位置, input: f时间{timestamp}, output: f{det[class_name]}位于画面{pos}置信度{det[confidence]:.2f}。 }) return qa_pairs # 示例调用 dets [ {class_name: 轿车, bbox: [100, 200, 300, 400], confidence: 0.92}, {class_name: 行人, bbox: [500, 300, 550, 450], confidence: 0.78} ] print(json.dumps(det_to_qa(dets, 15:32:07, 解放路东向西), ensure_asciiFalse, indent2))逻辑说明det_to_qa接收检测列表、时间戳和地点先统计各类目标数量生成整体描述再对高置信度目标生成位置问答。参数confidence 0.6是过滤阈值低于这个值的检测结果不进入问答对避免噪声污染训练数据。生成的 JSON 每条包含instruction、input、output三个字段这是 Alpaca 格式可以直接喂给 LLaMA-Factory 或 DeepSeek 官方微调脚本。3.2 LoRA 微调 DeepSeek 的 rank 和 alpha 怎么设DeepSeek 系列模型参数量大全量微调对显存要求高LoRA 是更现实的选择。用 LLaMA-Factory 做微调时关键参数是lora_rank和lora_alpha。交通问答任务属于垂直领域适配不需要模型学全新知识而是让它学会用特定格式回答。我一般设lora_rank8、lora_alpha16lora_dropout0.05。如果发现模型回答太死板、只会复述训练集里的句子把 rank 提到 16 再试如果过拟合严重、验证 loss 回升降到 4。训练命令示例llamafactory-cli train \ --stage sft \ --model_name_or_path deepseek-ai/deepseek-llm-7b-chat \ --dataset traffic_qa \ --template deepseek \ --lora_rank 8 \ --lora_alpha 16 \ --lora_dropout 0.05 \ --learning_rate 1e-4 \ --num_train_epochs 3 \ --per_device_train_batch_size 2 \ --gradient_accumulation_steps 8 \ --output_dir ./output/traffic_lora参数说明learning_rate1e-4是 LoRA 微调的常用起点比全量微调大一个数量级per_device_train_batch_size2配合gradient_accumulation_steps8等效 batch size 为 16显存不够时优先降 batch size 而不是加累积步数因为累积步数太大会让训练变慢。num_train_epochs3对几千条数据足够超过 5 轮基本都会过拟合。3.3 用 Ollama 本地跑推理验证微调效果微调完的 LoRA 权重可以合并到基础模型再用 Ollama 加载做本地推理。先写 ModelfileFROM ./merged_model PARAMETER temperature 0.3 PARAMETER top_p 0.9 SYSTEM 你是一个交通监控问答助手只根据检测结果回答不编造信息。然后ollama create traffic-qa -f Modelfile再用ollama run traffic-qa测试。验证时重点看三类问题事实性问题「画面里有几辆车」、位置问题「行人在哪」、否定问题「有没有闯红灯」。如果模型对否定问题总是瞎编说明训练数据里负样本太少需要补一批「没有检测到XX」的问答对。4. 避坑与排查从环境配置到推理延迟的五个血泪教训4.1 坑一YOLOv8 训练时 mAP 不涨loss 却一直在降现象训练集 loss 稳定下降但验证集 mAP50 卡在 0.5 左右不动。原因通常是数据标注质量差或类别不平衡。交通监控里「轿车」样本可能是「救护车」的 100 倍模型倾向于把所有车都预测成轿车。解决先用ultralytics的dataset_stats看类别分布对长尾类别做过采样或加 focal loss。另外检查标注框有没有越界、宽高为 0 的情况这些脏数据会让回归分支学偏。4.2 坑二DeepSeek 微调后模型只会复读训练集答案现象问「画面里有几辆车」模型回答和训练集里某条一模一样换个问法就答非所问。原因是 LoRA rank 太低或训练轮数太多模型记住了模板而不是学会推理。解决把lora_rank从 8 提到 16同时把num_train_epochs从 5 降到 2并在数据里增加同义问法比如「画面中车辆数量是多少」「有几台车」都要有对应样本。4.3 坑三检测和问答串起来后端到端延迟超过 3 秒现象单独跑 YOLOv8 只要 30ms单独跑 DeepSeek 推理要 2s串起来后用户等 3 秒以上。原因是检测每帧都跑但问答不需要每帧都触发。解决加一个触发机制只有检测到特定事件如压线、逆行才调用大模型平时只存结构化结果。另外把 DeepSeek 换成量化版本4bit 量化后推理速度能提升 40% 左右精度损失在交通问答场景里可以接受。4.4 坑四Ubuntu 20.04 上 CUDA 版本和 PyTorch 不匹配现象torch.cuda.is_available()返回 False或者训练时提示CUDA error: no kernel image is available。原因是 PyTorch 编译时的 CUDA 版本和系统驱动不匹配。解决先用nvidia-smi看驱动支持的最高 CUDA 版本再去 PyTorch 官网找对应版本的安装命令。Ubuntu 20.04 上常见组合是驱动 525 CUDA 11.8 PyTorch 2.0不要盲目装最新版。4.5 坑五RK3588 部署 YOLOv8 时模型转换失败现象用 RKNN Toolkit 转换 ONNX 模型时报Unsupported op: SiLU。原因是 RK3588 的 NPU 对某些激活函数支持不完整。解决在导出 ONNX 时把 SiLU 换成 ReLU或者用 RKNN 的量化感知训练重新训练一版。转换命令里加--quantize做 int8 量化但要注意量化校准集要覆盖白天、夜间、逆光三种场景否则量化后精度掉得厉害。5. 把系统跑通之后三个让效果再上一档的调优技巧第一个技巧是检测结果做时序平滑。单帧检测会有抖动同一辆车在连续帧里可能一会儿被框成轿车一会儿被框成SUV。用一个简单的滑动窗口投票取最近 5 帧里出现次数最多的类别作为最终输出再送给大模型。这个改动代码量不到 20 行但问答的稳定性会明显提升。第二个技巧是给 DeepSeek 的 prompt 里加 few-shot 示例。微调后的模型虽然懂交通场景但偶尔还是会编造不存在的目标。在 system prompt 里塞两个例子一个正确回答一个「没有检测到目标时应该回答未发现」的示范。实测能降低 30% 左右的幻觉率。第三个技巧是验证时别只看单条问答。准备一个 50 条问题的测试集覆盖计数、位置、颜色、行为四类每次改完模型跑一遍记录准确率和响应时间。我习惯用表格记录每次实验实验编号模型配置计数准确率位置准确率平均响应时间exp01YOLOv8n DeepSeek-7B LoRA r882%76%2.1sexp02YOLOv8n-EMA DeepSeek-7B LoRA r1688%81%2.3sexp03exp02 时序平滑91%85%2.3s这张表能帮你快速判断改动是否有效。如果某个改动让准确率涨了但响应时间翻倍就要权衡是否值得。毕设和课设的时间有限优先做那些「改动小、收益明确」的优化比如时序平滑和 few-shot而不是一上来就换 backbone。最后说个我自己的习惯每次训练完模型先把权重文件、训练日志、数据配置文件打包存一份命名带上日期和关键参数。因为过两周你一定会忘记「那个效果最好的版本到底用的什么 rank」。这个习惯帮我省过至少三次重跑训练的时间。希望帮到你。本文还有配套的精品资源点击获取