测井孔隙度预测的CNN-Transformer混合模型

简介面向石油勘探与深度学习交叉领域的研究人员和工程师这份资源提供了一篇基于CNN-Transformer混合模型进行测井孔隙度预测的论文复现方案针对传统方法难以刻画地质非线性的痛点展示了CNN提取局部特征、Transformer建模深度序列关系的完整建模思路。压缩包为单个PDF文件体积705KB内容包含论文原文及可运行的Python代码详解覆盖数据标准化、Transformer编码器层实现、CNN-Transformer模型搭建、训练与评估等关键环节并配有分步注释便于读者快速上手复现。目前已有157人学习下载适合希望将深度学习方法引入测井解释、孔隙度建模及储层评价工作的学者与工程师作为参考。1. 测井孔隙度预测的 CNN-Transformer 混合模型真正赢在“局部与全局兼得”测井孔隙度预测并不是一个新鲜任务传统上地质学家用密度、声波、中子等曲线建立体积物理模型再用手动交会图修正。问题在于复杂岩性条件下骨架参数不确定井壁垮塌又让密度曲线失真纯物理模型经常把孔隙度算成负值。数据驱动的做法很直接把岩心分析孔隙度当作标签让模型从测井曲线上学非线性映射。可是一条井剖面上岩心采样通常只有几十到几百个点整口井却有上万条深度采样样本量不够、序列又长这正好把“局部卷积全局注意力”的混合模型推到台前。CNN 的长处是局部岩性响应比如薄互层、泥质条带、裂缝段的曲线形态Transformer 的长处是跨深度尺度的相关性比如上覆泥岩的压实趋势、距离烃源岩远近对物性的整体控制。CNN-Transformer 混合模型并非简单把两个网络拼在一起而是用 CNN 先把测井曲线压缩成语义特征再让 Transformer 在深度方向上建模长依赖。对做岩石物理解释、需要快速构建预测模型的工程人员来说这个方案在数据只有几百个小样本时比纯 Transformer 更容易稳定收敛又比纯 1D CNN 更能利用整段井的上下文这也是这个标题背后最值得落地的原因。2. 从感受野到注意力混合模型为什么要用 CNN 前端和 Transformer 后端2.1 测井序列里到底缺的是什么有限感受野与全局上下文测井曲线天然是沿深度排序的一维信号。传统 CNN 处理这类信号时靠的是卷积核在深度方向滑动卷积核大小决定了感受野范围一个 kernel5 的卷积层只能看到上下各两个采样点。要扩大范围只能叠多层卷积或增大 kernel但这会带来两个问题一是参数数量上升小样本测井数据集很容易过拟合二是局部特征在多层卷积中反复压缩深部与浅部测井值之间的直接关联会被稀释。Transformer 不一样它通过 self-attention 让每个深度位置的 token 直接看到序列里的所有 token不受“距离”约束。理论上这非常适合测井同一个储层段顶部和底部的孔渗关系可能跨越几十米依然高度相关。但直接拿原始测井曲线做 attention 也有代价逐采样点的注意力计算开销大而且原始曲线上的噪声和局部尖峰会被当成同等重要的信息。常见的解法就是 CNN-Transformer 混合先用少量 1D 卷积层做特征提取和降采样让每个 Transformer token 不再是原始深度点而是包含局部邻域信息的卷积特征再用注意力机制去抓全局关系。在测井孔隙度预测中这种设计还有一个隐含优势CNN 前端天然引入了一个平滑假设——相邻深度点的物性变化是连续的这能抑制纯 Transformer 在稀疏岩心标签样本下学习到的高频振荡。也就是说混合模型既保留了 CNN 归纳偏置带来的正则化作用又具备了长距离依赖建模能力。2.2 数据形态设计一条测井曲线怎么变成 token 序列这里需要考虑清楚“样本”是什么。如果一口井有 10000 个深度采样点不能直接把整条井剖面对应成一个训练样本因为一条井只有一条标签曲线样本量不够。常见做法是取垂直滑动窗口以某个深度点为中心上下各取一段测井曲线作为输入标签是这个中心点的岩心孔隙度。这样一口井上的有效样本数量等于有效岩心标签点数而不是整井深度点数。假设选了 7 条常用测井曲线补偿密度 DEN、声波时差 AC、补偿中子 CNL、深侧向电阻率 RT、浅侧向电阻率 RLLS、自然伽马 GR、井径 CAL。对于深度点 i构造输入矩阵 X形状为 (7, window)窗口长度一般取 64、128 或 256。为什么要多条曲线而不是堆更多因为测井曲线之间存在共线性过多冗余特征反而让 Transformer 的注意力分布被无意义的特征对牵走。混合模型的 token 化流程可以这样理解CNN 可以先用两层 Conv1d 在深度方向上做局部特征提取输出张量形状从 (batch, 7, window) 变为 (batch, d_model, window/2)。接着把深度维转成序列维也就是把每一个 “时间步位置”视作一个 token每个 token 的特征维度是 d_model。这一步等效于把原始曲线切成分段再用卷积做 patch embedding只是这个 embedding 是可学习的且相邻窗口有重叠保证边界连续性。最后在 token 序列前面加上可学习的位置编码positional encoding再送入 Transformer Encoder。下表是本文后续代码采用的典型参数配置读者可以对照自己的数据规模修改模块具体配置输出形状核心参数输入测井窗口标准化后的曲线矩阵(B, C, W)C7W128CNN 特征提取层两层 Conv1d BatchNorm GELU(B, d_model, W/2)kernel5stride2位置编码可学习参数(B, W/2, d_model)序列长度固定Transformer Encoder2 层编码器多头注意力(B, W/2, d_model)heads8dim_feedforward512序列汇聚全局平均池化(B, d_model)对序列维度取均值回归输出两层全连接 Dropout(B, 1)输出层无激活2.3 损失函数与评估不能只看 R²还要看样本数孔隙度预测是回归任务最常见损失函数是均方误差 MSE但它对异常标签点敏感。岩心孔隙度测量本身存在误差井壁垮塌段更是可能让标签与测井响应错位因此我更推荐 Huber Loss 或 Smooth L1 Loss。Huber 有一个 delta 参数当绝对误差小于 delta 时用平方误差大于 delta 时用线性误差避免个别坏标签主导梯度。评估指标需要同时看 RMSE 和 R²。RMSE 的单位是孔隙度百分比更适合业务人员理解R² 则反映模型相对于均值预测的改进程度。但二者都不能脱离样本量看小样本测试集上 R² 很容易波动 0.05 以上。更稳妥的方式是把验证按“井”划分至少留一口完整井做 blind test而不是随机打乱深度点。后者的数据泄露会让模型“记住”某口井的整体趋势部署到新井时精度立刻崩掉。3. 用 PyTorch 实现 CNN-Transformer 的最小可运行代码3.1 数据预处理与滑动窗口构样下面代码假设已经完成了曲线深度对齐和异常值截断输入数据中的测井特征按深度排列。注意岩心孔隙度并不是每个深度都有值需要用 np.nan 标记缺失。import numpy as np import torch from torch.utils.data import Dataset, DataLoader class WellWindowDataset(Dataset): def __init__(self, features, porosity, window128): self.features torch.tensor(features, dtypetorch.float32) # (depth, n_features) self.porosity torch.tensor(porosity, dtypetorch.float32) # (depth,) self.window window half window // 2 # 只保留中心深度点上有孔隙度标签、且窗口不越界的样本 valid np.where( np.isfinite(porosity) ~np.isnan(porosity) )[0] self.valid_idx [ i for i in valid if half i features.shape[0] - half ] def __len__(self): return len(self.valid_idx) def __getitem__(self, idx): center self.valid_idx[idx] half self.window // 2 x self.features[center - half: center half 1, :] # (window, n_features) x x.permute(1, 0) # (n_features, window) y self.porosity[center] return x, y这段代码的关键在于permute(1, 0)把原本按深度排列的 (window, features) 转成 (features, window)模型输入形状才能被Conv1d接受。valid_idx过滤掉标签缺失且窗口越界的样本点避免无效训练。对于长井段还可以在__getitem__中记录深度中心索引方便预测后映射回井深。3.2 CNN-Transformer 模型定义import torch.nn as nn import torch.nn.functional as F class CNNTransformerPorosity(nn.Module): def __init__(self, in_channels, window128, d_model128, nhead8, num_layers2, kernel_size5, dropout0.1): super().__init__() # CNN 前端局部特征提取 时间维度降采样 self.conv1 nn.Conv1d(in_channels, 64, kernel_size, paddingkernel_size // 2) self.bn1 nn.BatchNorm1d(64) self.conv2 nn.Conv1d(64, d_model, kernel_size, paddingkernel_size // 2, stride2) self.bn2 nn.BatchNorm1d(d_model) seq_len window // 2 self.pos_embed nn.Parameter(torch.randn(1, seq_len, d_model) * 0.02) encoder_layer nn.TransformerEncoderLayer( d_modeld_model, nheadnhead, dim_feedforward512, dropoutdropout, activationgelu, batch_firstTrue, ) self.transformer nn.TransformerEncoder( encoder_layer, num_layersnum_layers ) self.head nn.Sequential( nn.Linear(d_model, 64), nn.GELU(), nn.Dropout(dropout), nn.Linear(64, 1), ) def forward(self, x): # x: (batch, in_channels, window) x F.gelu(self.bn1(self.conv1(x))) x F.gelu(self.bn2(self.conv2(x))) # (batch, d_model, seq_len) x x.transpose(1, 2) # (batch, seq_len, d_model) x x self.pos_embed x self.transformer(x) x x.mean(dim1) # 全局平均池化 x self.head(x) return x.squeeze(-1)需要说明的是nn.TransformerEncoderLayer内部自带 Multi-Head Self-Attention 和前馈网络batch_firstTrue要求输入形状是 (batch, seq_len, d_model)所以代码中先用transpose把通道维和深度维交换。pos_embed用可学习参数因为滑动窗口长度固定不需要处理变长序列。CNN 前端第二层stride2把窗口长度减半既减少 Transformer 计算量也让每个 token 代表更长的局部深度间隔。3.3 训练流程与验证指标训练循环里需要注意两点将验证损失限制为每几个 epoch 监控如果做了特征标准化验证时要使用训练集的均值和标准差不能用整口井重新计算。def train_model(model, train_loader, val_loader, device, epochs150, lr3e-4): model.to(device) optimizer torch.optim.AdamW(model.parameters(), lrlr, weight_decay1e-2) scheduler torch.optim.lr_scheduler.CosineAnnealingLR(optimizer, T_maxepochs) loss_fn nn.HuberLoss(delta1.0) for epoch in range(1, epochs 1): model.train() train_loss 0.0 for x, y in train_loader: x, y x.to(device), y.to(device) pred model(x) loss loss_fn(pred, y) optimizer.zero_grad() loss.backward() optimizer.step() train_loss loss.item() * len(x) scheduler.step() if epoch % 10 0 or epoch 1: model.eval() val_preds, val_labels [], [] with torch.no_grad(): for x, y in val_loader: x x.to(device) pred model(x) val_preds.extend(pred.cpu().numpy()) val_labels.extend(y.numpy()) rmse np.sqrt(np.mean((np.array(val_preds) - np.array(val_labels)) ** 2)) print(fEpoch {epoch:03d} | train_loss{train_loss / len(train_loader):.4f} | RMSE{rmse:.4f})HuberLoss(delta1.0)的意思是当预测孔隙度与真实值偏差小于 1 个孔隙度单位时按平方计算误差大于 1 时转为线性误差这能弱化异常岩心标签的影响。CosineAnnealingLR在训练后期逐渐降低学习率比固定学习率更容易收敛。weight_decay设成 1e-2 可以约束 Transformer 参数不过度膨胀。4. 超参数调整与测井数据场景下的常见陷阱4.1 关键超参数范围小数据集与大窗口如何平衡CNN-Transformer 混合模型可调参数很多但对测井数据来说最影响结果的是窗口长度、Transformer 层数和 d_model。下面给出我在实际工作中常用的调参范围参数推荐范围调整倾向失败时的表现window64~256层厚、互层发育则取大曲线上下抖动CNN kernel_size3, 5, 75 最稳妥太小则噪声敏感d_model64~128样本量少选 64过大提前过拟合nhead4~8d_model 能被整除不整除报错num_layers1~3岩心点少于 500 用 1 或 2训练 loss 震荡dropout0.05~0.3CNN 后 0.1head 0.1验证集发散batch_size32~128窗口大则减小OOM 或收敛慢窗口长度对模型影响最直观。窗口太短Transformer 能看到的上下文有限窗口太长同一窗口内可能跨越多个不同岩性段注意力会被无关深度点带偏。比较好的做法是先用改进的 “层内互相关” 评估观察孔隙度测井曲线自相关的大致滞后深度。一般取 2~4 米的窗口按 0.125m 采样间隔折算就是 16 到 32 个采样点但窗口太小又会让 Transformer 失去意义因此实践中我通常在 window64 左右起步再根据盲井 RMSE 调整。4.2 数据泄露训练集与验证集在深度上严格分离测井数据最麻烦的不是模型结构而是样本划分。如果把同一口井相邻深度点一部分放进训练集、一部分放进验证集验证指标会虚高。原因是相邻深度点的测井响应和孔隙度高度相关模型实际是在做插值而不是外推。正确做法是至少保留一口完整井作为验证井训练时完全不接触该井的任何深度段。若只有单口井带岩心标签可以用深度分层划分先按深度排序每隔一段取固定长度作为验证段且验证段两边至少留下一个空洞过渡区。特征标准化也要避免数据泄露。统计训练数据中每一条曲线的均值、方差用同一套参数应用到验证井。验证井如果包含超出训练范围的极端异常值则在深度处做截断而不是重新标准化。4.3 真实测井曲线的常见瑕疵深度归位、井径扩大、死曲线岩心深度与测井深度经常存在 0.2 到 1 米左右的深度误差导致标签偏移。常见处理方式是做深度回归匹配用地层标志层、GR 曲线与岩心照片对比手动或互相关校正插值避免直接把岩心样品深度硬贴到最近测井采样点上。井径扩大段的密度测井往往受泥饼和井壁垮塌影响出现低密度假象模型会把低密度误学成高孔隙度。最直接的做法是在输入里保留井径曲线让模型自己学习“当井径异常时降低对应测井曲线权重”。如果训练样本极少可以把井径大于某一阈值的窗口从训练中剔除但不能从验证集中剔除否则部署时无法评估模型应对劣质井段的真实表现。“死曲线”则指某一口井的部分曲线没有响应变化比如缺中子或声波。用 0 填充会让 CNN 前端学出错误的偏置正确做法是特征掩码在输入中增加一个二进制通道标记该深度点该曲线是否有效并在 CNN 卷积之后对无效位置做 masked 处理。对于跨井建模这比删掉整条曲线更能保留信息。4.4 纯 CNN 还是混合模型什么时候需要在模型上加 Transformer如果岩心样本极少少于 300 个点纯 CNN 或简单的 GRU 可能反而更稳。Transformer 需要足够的数据才能发挥长依赖建模能力否则注意力矩阵可能退化成局部邻域选择。我一般建议先把逻辑上最容易被忽视的模型作为基线用同样窗口的纯 CNN 模型先跑一遍记录 RMSE。若纯 CNN 在验证井上的预测曲线在局部岩性段上过度平滑或在厚层段上有趋势性偏差再替换为 CNN-Transformer 混合模型。这样增加的 Transformer 编码器在数学上是可解释的注意力权重可以反映模型是否真在跨层使用“源自上覆泥岩的压实趋势”信息。如果注意力权重几乎只限在对角线附近说明 Transformer 并没有发挥作用模型退化为 CNN问题可能出在窗口长度不足或 token 序列太短。5. 测井孔隙度预测模型的落地验证技巧从滑动窗口到置信区间5.1 用“单井滑动窗口”检查预测曲线的连续性训练完成后很多实践者直接在测试井上按所有深度点做预测但验证集可能只包括有岩心标签的深度点导致没有覆盖整口井。落地层厚上应该做一次全井扫描取某口验证井所有深度点按相同窗口构造输入得到每个深度点的预测孔隙度再画成随深度变化的曲线。这里有一个值得注意的检查点滑动窗口预测逐点输出时相邻窗口相差一个深度步长预测值应当平滑过渡如果出现等间隔振荡通常是因为窗口中心点两侧的信息不对称或 CNN 的 BatchNorm 统计量在单样本预测时计算不稳定。修复方式是设置BatchNorm在推理时固定使用训练缓存统计值或改用电推力较小的 LayerNorm。由于训练样本来自窗口中心当窗口中心靠近井顶或井底时会有边界截断预测值偏高或偏低。一个实用技巧是对整井推理时不直接拼接每个窗口的预测而是每个窗口输出多个深度点的预测重叠部分取平均这样边界不完整的影响会被削弱。5.2 用 MC Dropout 得到预测置信区间孔隙度解释结果是要交给地质家的单点预测值本身带有不确定性。与其给出一个精确到小数点后两位的数字不如给一个置信区间。一个不需要额外改动模型的做法是蒙特卡洛 Dropout在推理阶段不关闭 Dropout多次前向推理把每个深度点的多个预测取均值和标准差。标准差大的深度段通常对应井径异常或曲线噪声严重的区间。下面代码展示了如何实现def mc_dropout_predict(model, x, n_iter50, devicecuda): model.train() # 保持 Dropout 开启 preds [] with torch.no_grad(): for _ in range(n_iter): pred model(x.to(device)) preds.append(pred.cpu().numpy()) preds np.stack(preds, axis0) mean preds.mean(axis0) std preds.std(axis0) return mean, std实际操作中model.train()不是让模型进入优化状态而是利用 Dropout 层的行为做贝叶斯近似。这样输出的置信区间可以用于井间对比如果某段储层预测孔隙度均值高但标准差大就提示地质家在这段部署取心或测试而不是把预测值当作定论。5.3 把模型输出嵌入解释流程而不是替代解释人员最后真正能落地的流程不是“一键预测”而是把模型结果当作初始解释、异常区域重新审视的地图。让我说明一个典型工作流先用 CNN-Transformer 预测计算初始孔隙度然后计算预测曲线与实际岩心标签的滚动残差残差绝对值超过 2 个孔隙度单位时标记为可疑层段查看这些层段对应曲线判断是岩心深度错位还是井径异常。将这一判断重新反馈到训练集调整标签或剔除坏点。经过两轮迭代之后模型的盲井测试精度通常还能再提升一个档次而且这不会依赖更强的模型结构单纯是数据声明的质量改进。本文还有配套的精品资源点击获取