MATLAB实现TCN-Transformer-LSTM多输出回归与SHAP可解释性分析

简介本资源是一套面向时间序列多输出回归任务的MATLAB深度学习解决方案适用于能源负荷预测、工业过程建模、金融时序分析等场景适合具备基础MATLAB编程与神经网络知识的中高级用户。资源融合TCN提取局部时序特征、Transformer建模长程依赖、LSTM捕捉动态演化构建端到端可解释回归模型并集成SHAP值分析实现特征贡献量化解读。压缩包共7个文件56KB含3个Excel数据文件原始数据、新输入、预测结果、3个核心MATLAB脚本主训练main.m、新数据预测newpre.m、SHAP计算shapley_function.m及1份运行说明txt结构清晰、模块解耦、开箱即用。目前已有60人学习下载提供完整训练—评估—可视化—解释—部署全流程代码涵盖R²/MAE/RMSE指标计算、网络结构图、多维度预测对比图、误差分布与散点拟合图等支持直接加载新数据完成批量预测并导出结果。 最近在做一个回归预测项目输入特征有几十维输出还不止一个目标。一开始我用单模型试了几轮LSTM、Transformer单独跑效果始终差口气要么时序特征抓不住要么局部趋势被全局注意力稀释。后来把三组结构组合到一起TCN负责局部特征Transformer负责全局依赖LSTM负责序列记忆预测精度才算勉强达到业务要求。这篇文章把整个方案的思路、代码结构和踩坑记录完整分享出来适合正在做多输出回归、时间序列预测或者想给MATLAB模型加可解释性分析的朋友参考。1. 项目概述与整体设计思路1.1 为什么偏偏是这三种模型组合先说结论没有哪种模型能在所有场景通吃组合模型真正的价值是让各自的长处互补。TCNTemporal Convolutional Network本质是带因果约束的卷积网络。它用膨胀卷积扩大感受野能在不堆叠太多层的情况下覆盖较长的历史窗口。它的优势在于训练速度快、对局部模式非常敏感比如突发的波动、短时间内的拐点TCN能抓得很准。但它的问题也很明显感受野毕竟有限序列非常长的时候远处的信息会被稀释。Transformer则完全走另一条路。它通过自注意力机制直接计算任意两个时间步之间的关联理论上不管两个点隔多远都能建立联系。这正好补上TCN的短板。但Transformer也有自己的毛病它对局部时序的平移不变性掌握得不好如果把一小段信号平移几个时间步注意力计算出来的特征可能差别很大这对回归任务来说不太友好。LSTM算是序列建模的老牌选手了。它通过门控机制解决了长短期记忆问题对时间步的先后顺序天然敏感特别适合捕捉趋势性的缓慢变化。但LSTM的缺点是训练慢而且在超长序列上依然存在梯度衰减的隐患单靠它很难同时兼顾局部细节和全局依赖。所以这个组合的核心逻辑是先用TCN把局部特征抽出来再用Transformer建立全局依赖关系最后用LSTM把前两步的输出做时序精修。实测下来这种串联结构比任何单一模型都稳R2能提高好几个百分点而且对异常波动的响应也更准。1.2 回归任务中的“多输出”到底怎么处理多输出这个词在不同项目里意思不一样我先把它说清楚。一种情况是单输入多目标比如你输入一组传感器数据要同时预测温度、压力、流量三个值这就是经典的多输出回归。另一种情况是多步预测比如用过去24小时的数据预测未来12小时的负荷曲线输出是一个序列本质上也可以看成多个输出。本项目里我按第一种来设计也就是输出层不用一个神经元而是让全连接层的输出维度等于目标变量的个数。比如三个目标变量全连接层就设3个神经元最后接一个回归层。这样的好处是模型能同时学习多个目标之间的相关性比分开训练三个模型要高效预测结果也更一致。在MATLAB里实现多输出回归并不复杂关键在于数据格式。输入数据按时间步组织成三维数组或cell数组目标数据直接拼成一个矩阵行数等于样本数列数等于输出维度。训练时用trainNetwork损失函数用均方误差MATLAB自动帮你处理多输出的反向传播。1.3 SHAP分析在这个项目里解决什么问题模型再好如果只能给一个预测结果别人问“为什么这个值高、那个值低”你还是说不清楚。这就是我加SHAP分析的原因。SHAP的全称是Shapley Additive Explanations思想来自博弈论里的Shapley值。它的核心是把每个特征的贡献量化成具体的数值正数表示这个特征把预测值往上推负数表示往下压。这样你就能直观看出在某个样本的预测过程中到底哪些特征起了决定性作用。在回归任务里SHAP分析的价值有几个层面。第一个是模型诊断如果某个已知的关键特征SHAP值几乎为零那说明模型没学对需要检查数据处理或网络结构。第二个是特征筛选通过汇总所有样本的SHAP值可以定出特征重要性的排序把明显无关的特征删掉有时还能再提升一点精度。第三个是业务解释比如我要向非技术同事汇报模型逻辑直接给他们看一张SHAP摘要图比讲一千字网络结构更有效。2. 数据准备与预处理细节90%的坑都在这2.1 输入样本的结构设计模型能不能学好第一步不是调参而是把数据组织对。我这里做的是时序回归所以输入样本不是一行一行的静态特征而是带时间步的滑窗数据。假设原始数据有N个时间点每个时间点有F个特征我要用过去T个时间步预测未来H个时间步的M个目标值。那么每个样本就是T×F的矩阵对应的标签就是H×M的矩阵。滑动窗口每次移动一步最终能生成N-T-H1个样本。这个过程看着简单但有个容易被忽略的点滑窗生成样本之后样本之间高度重叠如果直接按顺序划分训练集和测试集会造成数据泄漏。正确做法是先按时间顺序划分出训练段和测试段再在各自段内做滑窗。千万不要先滑窗再随机划分否则模型训练时已经看过测试段的信息验证结果会虚高。在MATLAB里我一般用循环或arrayfun生成样本存成cell数组。每个元素是一个T×F的矩阵标签矩阵单独存为一个N×M的数值矩阵。这样后面直接塞给trainNetwork使用基本不需要再转换格式。2.2 归一化、反归一化与时间序列泄漏回归任务里归一化几乎是必须的。不同特征的量纲差异很大比如温度可能只有0到50压力可能到几千如果不归一化梯度更新会被大数值特征主导小特征学了等于白学。我通常的做法是先用训练集的均值和标准差对每个特征做标准化也就是z-score归一化把数据变成均值为0、方差为1的分布。目标变量也做同样处理因为多输出回归的多个目标量纲往往也不同如果不归一化损失函数会被量纲大的目标霸占。这里有一个特别容易踩的坑归一化的参数必须只用训练集计算然后用同一套参数去变换验证集和测试集。如果整个数据集一起算均值和标准差测试集的信息就已经泄漏到训练过程里了评估指标会虚高。同样预测新数据的时候也必须用训练集保存下来的那组参数不能重新算。反归一化也是一个高频出错点。模型输出的预测值是在归一化空间里的要还原成真实量纲必须用训练集目标变量的均值标准差做逆变换。如果你不小心用了测试集的统计量去反变换预测结果会整体偏移而且误差不容易发现。2.3 MATLAB里的维度排布与cell数组处理MATLAB的深度学习工具箱对数据格式的约定比较严格训练数据是N×1的cell数组每个cell是一个T×F的矩阵对应一个样本目标数据是N×M的数值矩阵。这个格式和Python里的习惯差别很大我刚从Python转过来的时候没少在这上面折腾。我的建议是写一个专门的数据转换脚本把raw数据变成训练用的格式。核心就两步第一步用滑窗生成样本矩阵维度是N×T×F第二步用mat2cell把三维数组拆成cell数组。如果数据量比较大可以分批生成避免内存不足。另外在验证集和测试集上做预测时也要用同样的格式构造样本。因为训练时你的输入是T×F的矩阵序列预测时也必须给同样形状的数据否则MATLAB会直接报维度错误。这个一致性检查我一般放在代码最前面花十分钟写几个断言后面能省几小时排查时间。3. 组合模型构建原理与MATLAB代码实现要点3.1 TCN部分用卷积抓局部时间特征TCN在MATLAB里没有内置的直接层但你不需要自己从头搭一个完整框架只需要理解它的两个关键操作因果卷积和膨胀卷积。因果卷积的意思是在计算t时刻的输出时只用t时刻及之前的信息不能偷看未来。这在MATLAB里可以通过自定义层实现也可以用SequenceFoldingLayer配合卷积来实现。不过更省事的办法是直接用标准的卷积层再把输入做适当的移位处理也能达到因果效果。膨胀卷积是TCN的另一个核心。普通卷积的感受野跟卷积核大小和层数线性相关而膨胀卷积通过在卷积核元素之间插入空洞让感受野呈指数增长。比如膨胀系数分别取1、2、4、8四层下来就能覆盖很长的历史范围。我在项目里用的是两层膨胀卷积加残差连接的结构。残差连接很重要它让梯度能直接穿过深层网络避免深层卷积导致的信息丢失。TCN部分的输出是一个特征序列维度等于卷积核数量这个序列会传给后面的Transformer层。3.2 Transformer部分的实现要点MATLAB从R2023a开始提供了transformerLayer可以直接加到layerGraph里这比我预想的方便很多。如果你的版本更老也不一定非要放弃Transformer可以自己写一个基于自注意力的自定义层或者考虑升级工具箱。Transformer的核心是自注意力机制。简单说每个时间步的向量都会计算与其他所有时间步的相似度然后用相似度作为权重把所有时间步的信息加权融合。这就是它能捕捉长距离依赖的原因。在实现时需要注意位置编码。Transformer本身不关心时间顺序如果不加位置编码模型会把序列当成一个无序集合这对时序回归来说是灾难。MATLAB内置的transformerLayer会自动加上位置信息但如果自己搭一定要记得加。我在这个项目里只用了一层Transformer隐藏维度设成64注意力头数设为4。不要一开始就堆很多层时间序列数据通常比文本数据简单得多太深的Transformer容易过拟合而且训练速度会明显变慢。3.3 LSTM与多输出回归层怎么接经过TCN和Transformer之后数据仍然是一个序列。LSTM的输入正好也是序列格式所以衔接非常自然。LSTM层我设了两层第一层返回完整的序列状态第二层只返回最后一个时间步的输出。如果第二层还返回整个序列后面的全连接层就得处理一大堆冗余信息成本高且容易过拟合。用OutputMode参数控制即可这个参数在layerGraph里设置。最后一个时间步的输出经过一个全连接层神经元个数等于输出维度的数量也就是多输出回归的目标个数。最后加一个回归层损失函数自动按均方误差计算。这样整个网络的输出就不再是一个值而是一个向量每一维对应一个预测目标。我测试过不同输出层方案直接用一个多输出全连接层比建多个并列的全连接分支效果更好更稳。原因可能是多个目标共享了前面的特征提取层能够互相促进学习。3.4 三种网络如何“组合”更有用组合方式决定了模型的容量和训练难度。我试过两种结构。第一种是并行结构三个模型分别吃同一份输入各自输出特征然后拼接在一起再接全连接层。这种结构的优势是让每个模型都看到原始数据互不干扰但缺点是模型参数量大容易过拟合而且训练时需要同时优化三个路的特征提取器收敛速度偏慢。第二种是串联结构按TCN到Transformer再到LSTM的顺序排列前一个模型的输出作为后一个模型的输入。这种结构的思路是逐步提炼特征先抽局部模式再建全局依赖最后做时序精修。缺点是如果前面的模型没学好错误会向后传递。我在项目中最终选了串联结构。原因很简单数据量不算特别大串联结构参数量更可控训练稳定效果也更好。如果你手头数据量很大可以尝试并行结构但一定要配上dropout和早停机制。下面是构建网络骨架的示意代码展示组合层的大致顺序。具体参数需要根据数据情况调整。% 以序列输入为例 lgraph layerGraph(); lgraph addLayers(lgraph, sequenceInputLayer(numFeatures, Normalization, none, Name, input)); % TCN部分两个膨胀卷积加残差 lgraph addLayers(lgraph, convolution1dLayer(3, 32, DilationFactor, 1, Padding, causal, Name, conv1)); lgraph addLayers(lgraph, convolution1dLayer(3, 32, DilationFactor, 2, Padding, causal, Name, conv2)); % 这里省略了激活、层归一化和残差连接的连接线设置 % Transformer部分 lgraph addLayers(lgraph, transformerLayer(64, 4, Name, transformer)); % LSTM部分 lgraph addLayers(lgraph, lstmLayer(64, OutputMode, sequence, Name, lstm1)); lgraph addLayers(lgraph, lstmLayer(32, OutputMode, last, Name, lstm2)); % 多输出回归 lgraph addLayers(lgraph, fullyConnectedLayer(numOutputs, Name, fc_out)); lgraph addLayers(lgraph, regressionLayer(Name, output));需要说明的是上面的convolution1dLayer在当前MATLAB版本里需要结合SequenceFoldingLayer才能正确处理序列数据具体实现时要根据版本调整。核心思路是把序列的每个时间步当作独立的“位置”用卷积提取局部上下文。3.5 训练参数配置与损失监控模型结构定好之后训练参数的设定同样关键。我这里的初始学习率设成0.001优化器用Adam批大小设成32最大训练轮数设成100左右同时开启验证集早停。不要一开始就追求训练集上的极小损失还要盯着验证集。如果验证集损失连续10轮不下降我就停掉训练用验证集上表现最好的那个模型作为最终模型。这个操作在MATLAB里可以通过trainingOptions里的ValidationPatience参数实现。另外多输出回归的损失是多个输出共同贡献的。如果某个目标量纲特别大训练初期它会主导loss导致其他目标学不好。解决方法是先对目标变量做标准化这样所有输出的权重自然就均衡了不需要手动调权重。还有一个细节训练过程里打印loss曲线很重要。我习惯用MATLAB的训练进度图观察loss下降趋势。如果训练loss下降正常但验证loss波动巨大多半是学习率太高或模型过拟合如果两头都不下降就要检查数据预处理和网络连接是否合理。4. SHAP可解释性分析原理与MATLAB落地4.1 从“黑箱”到“可解释”的直观理解SHAP值用一句话概括就是每个特征对预测结果的边际贡献。可以想象这样一个场景几个人合作完成一个项目最后一笔奖金该怎么分才公平不能只看谁最后做的动作还要看每个人在其他人的配合下实际产生了多少增量价值。Shapley值就是按这个逻辑计算出来的每个特征拿到的“奖金”就是它的贡献值。在回归模型里每个特征被“移出”或“替换”后预测值变化多少就代表该特征有多大影响。正贡献表示这个特征让预测值升高负贡献表示让它降低。把所有特征的SHAP值加起来等于模型预测值偏离基线预测值的总量。这个性质非常实用。我可以从测试集里挑几个典型样本逐个看每个特征的SHAP值很快能判断出哪些特征把预测结果拉高哪些特征在“拖后腿”。4.2 用MATLAB实现SHAP的两条路线MATLAB目前没有官方内置的SHAP函数但实现SHAP分析有两条现成的路线。第一条路线是用MATLAB的Python互操作功能调用Python环境里的shap库。这个方案的好处是算法成熟、速度快、可视化功能全。缺点是你的机器上得装Python还得装好shap、pandas、scikit-learn这些依赖。对纯MATLAB用户来说环境配置成本不小。第二条路线是自己在MATLAB里手写一个简化版SHAP。核心思路是蒙特卡洛采样固定一个待解释样本从训练集或背景数据里随机抽取一个参考样本然后把两个样本的特征随机混合观察模型输出的变化。重复上千次对每个特征求平均边际贡献就近似得到SHAP值。我在项目里用的是第二条路线主要为了省去Python环境依赖。代码结构其实不难核心循环如下% approx_shap.m function shap_values approx_shap(model, x_explain, X_background, num_samples, num_output) % model: 训练好的网络 % x_explain: 待解释样本1 x numFeatures % X_background: 背景样本矩阵N x numFeatures % num_samples: 采样次数 % num_output: 要解释的是第几个输出维 numFeatures numel(x_explain); shap_values zeros(1, numFeatures); for i 1:num_samples z X_background(randi(size(X_background, 1)), :); for j 1:numFeatures if rand 0.5 z(j) x_explain(j); end end pred predict(model, z); % 这里计算边际贡献并累积 end shap_values shap_values / num_samples; end需要说明的是这个循环是个极简示意真实运行时要考虑并行和向量化否则几千次循环跑起来很慢。我的做法是把所有随机样本一次性构造成矩阵然后批量predict速度能快10倍以上。4.3 多输出模型下的SHAP汇总方式多输出模型比单输出多一个麻烦每个输出都有自己的一组SHAP值。如果逐个解释所有输出会产生一大堆图表反而不容易看清规律。我的处理方式是这样的如果目标变量之间有明确主次关系比如某一个是核心指标那我只对这个核心输出做SHAP分析。如果没有主次先对每个输出的SHAP值取平均绝对贡献用这个汇总值做特征重要性排序再挑两三个关键输出下钻分析。需要注意的是SHAP值的绝对值大小不在不同输出之间直接比较因为每个输出自身的尺度可能不同。所以我在计算每个输出的SHAP值前会先把该输出对应的模型预测结果做标准化让不同输出维度的SHAP值分布在同一量纲下这样比较才有意义。4.4 怎么从SHAP结果里提炼业务结论SHAP分析的目的不是画一堆图自我感动而是要回答“哪个特征最重要”“哪个方向影响”这类具体问题。我在项目里看到的一个典型结果某个压力特征在所有样本里的SHAP值几乎都是正的大值说明它是提升预测结果的关键正向驱动因素而某个温度特征SHAP值分布很散绝对值很小说明它对预测结果几乎没贡献。这个结论直接帮助团队砍掉了几个冗余传感器后续数据采集成本都降了一点。另外还可以用SHAP依赖图看特征的非线性影响。做法很简单横轴是特征原始值纵轴是该特征的SHAP值每个点是一个样本。如果散点呈现出明显曲线关系说明这个特征对预测的影响不是线性的模型中确实学到了非线性效应。5. 新数据预测与模型复用从训练到上线的最后一步5.1 模型保存与加载训练完成后一定要把整个网络和预处理参数一起保存下来。很多人在这一步偷懒只保存网络模型结果上线时忘了还有归一化参数这回事预测结果全偏了。在MATLAB里我用save函数打包一个结构化变量里面有net字段存放训练好的网络有mu_x、sigma_x存放输入特征的均值标准差有mu_y、sigma_y存放目标变量的均值标准差。这样所有需要的信息都放在一个.mat文件里换机器、换环境只需要加载这一个文件。save(trained_model_full.mat, net, mu_x, sigma_x, mu_y, sigma_y);加载的时候用load函数一次性把结构体读进来。我建议在加载后立刻打印各字段的大小确认维度一致避免用了旧版本模型。5.2 新数据预处理要和训练时完全对齐这是新数据预测最容易翻车的地方。训练时用了训练集的均值方差做标准化预测新数据时也必须用那组固定的均值方差而不是用新数据自己重新计算。举个例子假设训练集某个特征均值是10方差是2你加载了一批新数据这个特征均值变成了15。如果你顺手用15和新的方差做归一化那模型输入的分布就和训练时不匹配了预测结果看起来可能正常但实际已经失真。我的做法是在预测入口函数里强制传入训练时保存的mu_x、sigma_x函数内部只做矩阵运算不重新计算统计量。同时加一个断言检查输入特征数量是否等于训练时的特征数量不一致直接报错。目标变量的反归一化也一样必须用mu_y、sigma_y。多输出模型的反归一化要逐列处理每个输出对应自己的均值和标准差。5.3 批量预测与结果整理如果只有一条新数据直接构造一个样本放进predict就行。但如果要预测一批数据我的建议是把它们整理成和训练时一致的cell数组格式然后一次性调用predict。批量预测有几个好处。一是速度快MATLAB的深度学习框架会做内部批处理优化比循环单条预测快很多二是更好排查异常比如某个样本的输入维度不匹配批量任务会在最开始就暴露问题。预测结果出来以后我一般会写一个简单的结果整理函数把预测值、真实值如果有、样本时间戳拼成一个表格输出成Excel或直接画图对比。这样拿到结果就能快速判断模型在当前数据上的表现不需要再写一堆临时脚本。6. 常见问题与避坑实录6.1 维度匹配错误这是MATLAB时序模型里最高频的报错。报错信息通常是“Layer input size mismatch”或者“Incompatible input size”。原因基本只有一个输入数据的格式和网络期望的输入格式不一致。比如你用了sequenceInputLayer输入cell数组里每个元素就应该是T×F矩阵如果你用了imageInputLayer输入就得是H×W×C数组。一旦看错模型连第一层都过不去。我的排查思路是先检查网络第一层是什么类型再检查训练数据cell数组里第一个元素的大小确认T和F的排布方向。MATLAB中序列数据的时间步在第一维、特征在第二维这和Python完全不同刚转型的朋友最容易栽在这里。6.2 训练不收敛或过拟合训练不收敛的常见症状是loss在某个值附近来回震荡或者直接变成NaN。NaN多半是学习率过大导致的把初始学习率降到0.0001或者更小通常能解决。过拟合的典型症状是训练loss降得很低但验证loss不降反升。这时候优先考虑加dropout层一般在Transformer和LSTM之间加一个dropout层效果比较好。同时增大数据量、缩小模型规模、提前早停也都是有效的控制手段。我自己遇到过一次比较隐蔽的过拟合因为滑窗滑得太密训练集内部样本高度相似模型记住了这些高频重复模式导致验证集表现差。后来我把滑窗步长从1调成5样本多样性增加了过拟合明显缓解。6.3 SHAP计算过慢手写SHAP最大的问题是计算量大。假设有3000个测试样本、30个特征、1000次采样那就是9000万次模型推理MATLAB里跑起来能让人怀疑人生。我的应对方法有三个。第一只对测试集的一部分样本做SHAP分析比如随机抽200个样本足以看清规律第二减少采样次数500次和1000次的结果差异很小第三把多个样本的采样过程向量化一次预测一个矩阵而不是一个向量。还有一个小技巧先用训练好的模型对整个测试集预测把所有预测结果缓存下来然后SHAP分析时只做前向推理不需要重算训练过程。这样能省大量时间。6.4 工具箱版本兼容性MATLAB版本差异会让同一份代码在不同机器上表现不同。最典型的问题是transformerLayer在旧版本里不存在或者convolution1dLayer对序列数据的处理方式变了。我建议在代码开头加一个版本检查如果当前MATLAB版本不支持某些层就提前给出提示。另外在团队协作时一定要在README里写明开发用的MATLAB版本和需要安装的Toolbox列表否则同事那边跑起来到处报错体验极差。如果版本实在太老我的建议是升级到R2023a以上这三个模型的组合在这个版本后实现起来顺很多尤其是Transformer部分不用再自己造轮子。6.5 预测值整体偏移问题预测结果整体偏高或偏低很多时候不是模型结构问题而是归一化反算错了。特别是多输出回归每个输出有自己的均值方差反归一化的时候如果用错列某些输出就会偏移。另外还有一种情况就是输入特征分布跟训练集差异太大。比如训练时某个特征的取值范围是0到100新数据里却出现了500的异常值归一化之后模型完全没有见过这个区间预测自然会跑偏。解决方法是做上线前的输入范围检查对超出训练范围的特征值单独打标提示人工核验。7. 实操心得与后续扩展7.1 一个可以提高预测精度的朴素技巧最后分享一个亲测有效的小技巧不要只盯着单一模型结构多花时间在序列长度和特征工程上。我把输入窗口从24个时间步增加到48个时间步时验证集R2提升了大约4个百分点。这个提升比换任何网络结构都明显。因为对时序回归来说历史信息覆盖范围直接决定了模型能看到的上下文量。当然窗口也不是越长越好太长的窗口会引入太多噪声而且训练数据会少很多。特征工程也一样重要。单纯增加特征数量不一定提升精度但把已知的物理规律转换成特征比如把时间点转成小时数、星期几的周期性编码往往比多堆几个原始传感器值更有效。7.2 组合模型未来的扩展方向这个TCN-Transformer-LSTM组合目前已经能稳定支撑多输出回归场景。后续如果数据量持续增长我打算把Transformer层数加深并引入多头注意力做更细粒度的特征交互。如果数据量不足就保留当前浅层结构用数据增强和更严格的正则化来提升泛化能力。SHAP这块也可以进一步扩展成在线解释。现在每次跑SHAP还是要几秒钟后续用并行计算和更高效的采样算法理论上能把单样本解释压缩到几十毫秒这样就能真正做到“每个预测结果都能解释”的落地状态。本文还有配套的精品资源点击获取