BERT+CNN文本分类实战：原理、代码与调优避坑指南

简介这份资源面向具备一定深度学习基础的开发者与文本分类学习者提供一套基于BERT预训练模型结合text_cnn架构的完整分类方案可用于影评情感分析、新闻主题归类等实际任务帮助读者理解预训练特征提取与卷积网络分类的衔接方式。压缩包共25个文件、约323KB以16个Python源码为核心涵盖模型定义、特征提取、训练与预测脚本另含3个txt说明、2份license、2份Markdown文档、1个gitignore及1个ipynb示例笔记结构清晰便于按模块查阅。目前已有428人学习下载。读者可从中获得可直接运行的分类工程代码、BERT与CNN结合的建模思路、数据加载与训练流程的参考实现以及基于TF Hub的影评分类示例笔记适合作为课程设计、毕业项目或自学的实践素材。1. 基于BERT的文本分类CNN模型为什么BERT后面还要接CNN很多做文本分类的同行第一次看到「基于BERT的文本分类CNN模型」这个组合第一反应是BERT本身就能做分类在[CLS]后面接一个全连接层就出结果了为什么还要再串一个CNN我当初也这么想直到在一个真实的中文工单分类任务上翻车——短文本里「退款」和「退货」只差一个字语义却完全不同纯[CLS]微调在边界样本上抖动得厉害。后来把BERT输出的 token 序列当成词向量矩阵再叠一层一维卷积做局部 n-gram 特征提取F1 直接涨了三个点。这就是这个方案的核心价值BERT负责把每个字/词编码成带上下文的向量CNN负责在这些向量序列上捕捉局部组合模式两者互补。这套结构适合谁适合手上有几千到几万条标注文本、想做多分类情感、意图、工单、新闻主题的工程师尤其是类别之间靠局部短语区分的场景。它不需要你从零训练语言模型用预训练权重做底座训练成本可控单卡就能跑。下面我把选型理由、数据准备、模型搭建、训练调参、踩坑排查一路讲清楚代码可以直接抄。2. 模型结构拆解BERT 输出怎么喂给 CNN2.1 为什么是「BERT 编码 一维卷积」而不是直接池化先把数据流讲明白。输入一句话经过 BERT 之后得到的是形状为[batch, seq_len, hidden]的三维张量hidden通常是 768。如果只做分类常规做法是取[CLS]位置的向量接Linear(hidden, num_classes)。但[CLS]是一个被注意力机制压缩过的全局表示它对局部短语的区分能力有限。CNN 在这里的作用是把seq_len当成「宽度」hidden当成「通道数」用不同尺寸的卷积核比如 2、3、4在序列上滑动每个卷积核相当于在检测一种局部 n-gram 模式。卷积完做最大池化把每种模式最强的响应保留下来再拼接送分类头。这样模型既能看到全局上下文BERT 的功劳又能显式建模「连续几个 token 的组合」CNN 的功劳。常见做法是卷积核尺寸取[2, 3, 4]每种 128 或 256 个。尺寸太小抓不到短语太大在短文本上会越界。我一般会先跑一组[2,3,4]和[3,4,5]对比看验证集表现再定。2.2 用 HuggingFace 搭出 BERTCNN 分类头下面是最小可运行的结构定义依赖transformers和torch。注意 BERT 部分我冻结了底层参数可选只微调顶层和 CNN这样小数据集上更稳。import torch import torch.nn as nn from transformers import BertModel, BertConfig class BertCnnClassifier(nn.Module): def __init__(self, bert_path, num_classes, filter_sizes(2, 3, 4), num_filters128, dropout0.3): super().__init__() # 加载预训练 BERT输出 hidden 维度 self.bert BertModel.from_pretrained(bert_path) hidden self.bert.config.hidden_size # 通常 768 # 每个卷积核尺寸对应一个 Conv1d输入通道hidden输出通道num_filters self.convs nn.ModuleList([ nn.Conv1d(in_channelshidden, out_channelsnum_filters, kernel_sizefs) for fs in filter_sizes ]) self.dropout nn.Dropout(dropout) # 分类头卷积核数量 * 尺寸种类数 - 类别数 self.fc nn.Linear(num_filters * len(filter_sizes), num_classes) def forward(self, input_ids, attention_mask): # BERT 输出last_hidden_state 形状 [B, L, H] outputs self.bert(input_idsinput_ids, attention_maskattention_mask) x outputs.last_hidden_state # [B, L, H] x x.permute(0, 2, 1) # 转成 [B, H, L] 给 Conv1d conv_outs [] for conv in self.convs: c torch.relu(conv(x)) # [B, num_filters, L-k1] c torch.max(c, dim2).values # 全局最大池化 - [B, num_filters] conv_outs.append(c) x torch.cat(conv_outs, dim1) # [B, num_filters*len(sizes)] x self.dropout(x) logits self.fc(x) return logits逻辑说明permute那一步是关键Conv1d要求输入是[batch, channels, length]而 BERT 给的是[batch, length, hidden]不转就会报维度错误。max池化沿长度维度取最大值把变长序列压成定长向量。参数方面filter_sizes控制 n-gram 窗口num_filters控制每种窗口的特征数量dropout在 0.3 到 0.5 之间调小数据集取大一点防过拟合。提示如果显存吃紧可以在BertModel.from_pretrained后加for p in self.bert.parameters(): p.requires_grad False冻结整个 BERT只训 CNN 和分类头显存能省一半以上代价是精度可能掉一两个点。3. 数据准备与训练流程从原始文本到可复现的 baseline3.1 数据格式与分词器的三个必调参数数据准备这一步最容易被轻视但翻车往往就出在这里。我一般把数据整理成两列text和labellabel 用整数从 0 开始编号。分词用 BERT 自带的 tokenizer有三个参数必须显式设置否则结果不可复现。from transformers import BertTokenizer from torch.utils.data import Dataset, DataLoader import torch tokenizer BertTokenizer.from_pretrained(bert-base-chinese) class TextDataset(Dataset): def __init__(self, texts, labels, max_len128): self.texts texts self.labels labels self.max_len max_len def __len__(self): return len(self.texts) def __getitem__(self, idx): enc tokenizer( self.texts[idx], max_lengthself.max_len, paddingmax_length, # 统一补齐到 max_len truncationTrue, # 超长截断 return_tensorspt ) return { input_ids: enc[input_ids].squeeze(0), attention_mask: enc[attention_mask].squeeze(0), label: torch.tensor(self.labels[idx], dtypetorch.long) }参数说明max_length决定序列长度中文短文本 64 到 128 够用长文档可以到 256 但显存翻倍paddingmax_length保证一个 batch 内形状一致比longest更省心truncationTrue必须开否则超长样本会直接报错。这三个参数不设训练时形状对不上报错信息还特别绕属于典型血泪经验。3.2 训练循环与学习率设置BERT 微调的学习率不能大一般2e-5到5e-5CNN 部分可以用大一点比如1e-3。如果懒得做参数分组统一用2e-5也能跑但收敛慢。我一般用 AdamW加一点权重衰减。from transformers import AdamW, get_linear_schedule_with_warmup device torch.device(cuda if torch.cuda.is_available() else cpu) model BertCnnClassifier(bert-base-chinese, num_classes10).to(device) # 参数分组BERT 用小学习率CNN 和分类头用大学习率 bert_params list(model.bert.named_parameters()) cnn_params list(model.convs.named_parameters()) list(model.fc.named_parameters()) optimizer AdamW([ {params: [p for _, p in bert_params], lr: 2e-5}, {params: [p for _, p in cnn_params], lr: 1e-3}, ], weight_decay0.01) epochs 5 total_steps len(train_loader) * epochs scheduler get_linear_schedule_with_warmup( optimizer, num_warmup_stepsint(0.1 * total_steps), num_training_stepstotal_steps ) for epoch in range(epochs): model.train() for batch in train_loader: input_ids batch[input_ids].to(device) mask batch[attention_mask].to(device) labels batch[label].to(device) logits model(input_ids, mask) loss torch.nn.functional.cross_entropy(logits, labels) loss.backward() torch.nn.utils.clip_grad_norm_(model.parameters(), max_norm1.0) # 梯度裁剪防爆炸 optimizer.step() scheduler.step() optimizer.zero_grad()逻辑说明参数分组是这套方案里提升最明显的一个技巧BERT 预训练权重已经很成熟大学习率会把它带偏CNN 是随机初始化的需要大学习率快速收敛。clip_grad_norm_设 1.0 是防梯度爆炸的后悔药尤其是 batch 小的时候。warmup 占 10% 步数让学习率从 0 慢慢升上去避免一开始就把预训练权重冲坏。3.3 验证与早停别只看准确率类别不均衡时准确率会骗人。我一般同时看 macro-F1 和每类的召回。验证集上如果连续两轮 macro-F1 不涨就停别硬跑满 epoch过拟合之后 F1 会掉。from sklearn.metrics import f1_score def evaluate(model, loader): model.eval() preds, golds [], [] with torch.no_grad(): for batch in loader: logits model(batch[input_ids].to(device), batch[attention_mask].to(device)) preds.extend(torch.argmax(logits, dim1).cpu().tolist()) golds.extend(batch[label].tolist()) return f1_score(golds, preds, averagemacro)averagemacro表示每类权重相同少数类不会被多数类淹没。如果你的任务里某个类样本特别少这个指标比 accuracy 敏感得多。4. 避坑与排查这套结构最容易翻车的五个地方4.1 现象训练 loss 不降一直在 2.3 附近晃原因学习率设太大BERT 权重被冲乱或者标签没从 0 开始编号导致cross_entropy索引越界但被静默处理。解决先把学习率降到1e-5试一轮再检查labels的min()和max()确认是0到num_classes-1。4.2 现象验证集 F1 比训练集低十几个点原因过拟合小数据集上尤其常见。解决把 dropout 从 0.3 提到 0.5冻结 BERT 底层或者加weight_decay到 0.05。还不行就减卷积核数量从 128 降到 64。4.3 现象报错expected input to have 3 dimensions原因忘了permute或者permute写成了transpose但没处理 batch 维。解决确认进Conv1d之前形状是[B, H, L]打印一次x.shape就清楚了。4.4 现象显存溢出batch 只能开到 8原因max_length设太大或者 BERT 没冻结。解决先把max_length从 256 降到 128再考虑冻结 BERT 底层若干层。梯度累积也能救累积 4 步等效 batch 32。4.5 现象推理时结果和训练时对不上原因推理忘了加model.eval()dropout 还在起作用或者分词时padding策略和训练不一致。解决推理固定model.eval()加torch.no_grad()分词参数和训练时逐字对齐。5. 进阶技巧让 BERTCNN 在小数据上再涨两个点前面跑通的是 baseline真正上线前我一般还会做两件事。第一件是多尺寸卷积核的池化方式改造。默认是每种卷积核各自最大池化再拼接可以改成先拼接再池化或者用AdaptiveMaxPool1d输出固定长度对变长输入更友好。第二件是对抗训练在 BERT 的 embedding 上加微小扰动FGM让模型对输入噪声更鲁棒小数据集上通常能涨一到两个点。class FGM: def __init__(self, model, epsilon1.0): self.model model self.epsilon epsilon self.backup {} def attack(self): for name, param in self.model.named_parameters(): if param.requires_grad and embedding in name: self.backup[name] param.data.clone() norm torch.norm(param.grad) if norm ! 0: r_at self.epsilon * param.grad / norm param.data.add_(r_at) def restore(self): for name, param in self.model.named_parameters(): if name in self.backup: param.data self.backup[name] self.backup {}用法是在loss.backward()之后、optimizer.step()之前调fgm.attack()再算一次 loss 反向然后fgm.restore()。epsilon一般取 0.5 到 1.0太大反而掉点。这个技巧属于「知道的人不多但确实管用」的类型代价是训练时间翻倍。验证方法上我习惯留一个固定的「难例集」——把验证集里模型反复分错的样本单独拎出来每次改结构或调参都在这上面看一遍。整体 F1 涨了但难例集没动说明涨的是简单样本上线后该错还是错。这个习惯帮我省过好几次「指标好看但线上翻车」的尴尬。最后说个我自己的教训这套结构我一开始贪心卷积核尺寸开到[1,2,3,4,5]参数翻倍结果在小数据集上直接过拟合验证 F1 比[2,3,4]还低。后来固定用三种尺寸反而稳。结构不是越复杂越好够用就行。希望帮到你。本文还有配套的精品资源点击获取