Python随机森林实战：文旅经济数据分析与预测全流程

简介基于Python机器学习随机森林的数据分析与预测项目源码与论文以文旅现象对地方经济的影响为研究场景面向高校学生完成毕业设计、课程设计和期末大作业也适合机器学习入门者进行项目实战。资源共19个文件压缩包约2.81MB包含可运行的Python源程序、论文正文docx/pdf、查重报告、Excel数据集、Pycharm运行截图、模型拟合效果图与特征相关性图等xml/iml等工程配置项便于环境还原README可帮助快速上手。源码经本地编译通过评审分98分难度适中内容经助教审定从数据整理、特征分析到随机森林建模与预测的完整链路均有体现方便直接参考或二次开发。目前已有357人学习下载其中图片与论文排版清晰可直接用于答辩展示是一份结构清晰、适合课程设计与毕业设计直接参考的资料。1. 文旅经济数据的随机森林分析与预测项目到底解决什么问题文旅经济这类题目数据有两个特点一是变量之间互相缠绕游客量涨了酒店、餐饮、零售全跟着动线性模型很难把这种交互关系拆开二是月度统计里噪声极大节假日、天气、突发事件随手就给数据制造一串离群点。随机森林在这种场景下属于“默认先试一把”的模型它不要求你先把特征关系想明白也能给出稳定的分析和预测结果配合 Python 的数据清洗与可视化能在一两周内跑完整套数据分析和预测流程。这篇笔记围绕“基于 Python 机器学习随机森林的数据分析与预测”这个项目形态展开以“文旅现象对地方经济影响”为研究场景说清楚从字段设计、建模、评估到论文成稿的完整路径。准备做毕业设计、数据分析课题或者想用机器学习完成一份实证分析报告的人都能照着跑通。2. 随机森林回归算法的建模原理与文旅数据字段设计在写代码之前先把模型底座讲清楚。很多人拿到数据就直接RandomForestRegressor一把梭跑出一个 R² 就觉得完事等到写论文时被问“为什么选这个模型”就卡住了。这一章先把随机森林的适用边界和文旅经济数据的结构讲明白再落到字段设计上。2.1 高噪声、非线性、强交互文旅经济数据是随机森林的主场传统线性回归假设因变量和自变量之间存在线性关系而且要求自变量之间相对独立。文旅经济数据恰好两头都踩线游客接待量对消费的影响不是一条直线游客少的时候每多一万人的边际贡献和游客爆满时完全不同住宿设施数量、网络热度、人均消费之间又互相纠缠线性模型里这些交互项需要手工构造一旦漏掉模型就欠拟合。随机森林回归算法的优势在于它不对特征关系做全局假设。每棵决策树在自己的样本和特征子集上生长树的分裂过程天然把“游客量高但住宿少”“游客量低但人均消费高”这类组合拆成不同叶子然后对所有树的预测取平均。这种做法对噪声的容忍度也高个别离群月只会影响少数几棵树不会像线性回归那样把整条回归线拉偏。另一个实际好处是省事。随机森林对特征量纲不敏感不需要做标准化对缺失值有一定容忍度对离散型特征和连续型特征可以混用。在文旅经济这种数据质量参差不齐的场景里这些特性直接减少了数据预处理的工作量。2.2 和决策树、XGBoost 放一起对比为什么先选随机森林做选型时至少要回答“为什么不是单棵决策树、为什么不是 XGBoost”。单棵决策树方差太大训练集上表现很好换一批数据就垮文旅月度数据样本量通常只有几百行一棵树很容易把噪声也学进去。随机森林通过行采样和列采样把多棵树的结果平均方差被压下来这是它和决策树最本质的区别。XGBoost 精度上限确实更高但它对参数更敏感学习率、树深度、正则项、早停轮次都要调样本量不足时还容易过拟合。在“数据分析与预测”这个课题场景里稳定复现比极限精度更重要。我的选型标准是先用随机森林把全流程跑通拿到基线结果如果论文需要对比实验再引入 XGBoost 做精度对比。这样既控制了项目风险又让论文的“模型对比”章节有素材。2.3 因变量与 9 个候选特征字段先设计再写代码文旅现象对地方经济的影响因变量一般从两个口径里选总量口径用社会消费品零售总额产出口径用第三产业产值。前者贴近“游客花钱带动本地消费”的逻辑后者更宏观。建议主模型用一个稳健性检验换另一个论文里能多写一小节。特征字段我按四类来设计客流量、消费力、产业配套、外部热度。下面这张表可以直接用作论文的“变量定义表”。字段名含义类型tourist_count当月游客接待量万人次连续avg_stay过夜游客平均停留天数连续per_capita_spending游客人均消费元连续hotel_beds住宿设施床位数连续online_index网络热度指数归一化连续festival_dummy当月是否有大型文旅活动0/1tourism_lag1上月游客接待量连续online_lag1上月网络热度连续spending_lag1上月人均消费连续前六个字段是当期变量后三个是滞后变量。文旅活动对经济的拉动往往不是当月立刻兑现游客来了之后住宿、餐饮的消费可能在下个月的企业营收里才体现出来构造滞后特征是这一步最重要的操作。2.4 滞后特征与类型修正建模前的第一段特征工程代码拿到原始的月度面板数据后先做三件事排序、构造滞后特征、压缩右偏分布。下面这段代码是特征工程的起点。import pandas as pd import numpy as np df pd.read_csv(city_tourism_month.csv, parse_dates[month]) df df.sort_values([city, month]).reset_index(dropTrue) # 滞后特征按城市分组取上一条记录的数值 df[tourism_lag1] df.groupby(city)[tourist_count].shift(1) df[online_lag1] df.groupby(city)[online_index].shift(1) df[spending_lag1] df.groupby(city)[per_capita_spending].shift(1) # 连续变量做 log1p 压缩右偏 for col in [tourist_count, per_capita_spending, hotel_beds, online_index]: df[col _log] np.log1p(df[col])这段代码做了三件事第一按城市和月份排序保证shift(1)取到的是真正的时间上一条第二构造三个滞后特征注意groupby(city)不能省否则会把上一个城市的数据串进来第三对右偏严重的连续变量做log1p因为游客量和床位数在旺季会出现极端大值直接喂给模型会让树的切分点被大值带跑。log1p是log(1x)比直接取对数好在 x 等于 0 时不会产生负无穷。这里刻意保留原始列让随机森林自己决定用哪个版本的特征更有效树模型有这个能力不需要人工替它做特征选择。3. 用 Python 跑通随机森林的数据分析、训练与预测全流程这一章进入核心操作环节。数据假设是一个包含多个城市月度记录的city_tourism_month.csv因变量用retail_sales社会消费品零售总额。整个过程分成四段清洗、切分、训练、评估与推演。3.1 数据清洗与变量加工读入、缺失值、log1p 与哑变量清洗的目标不是把数据“变干净”而是让特征矩阵满足随机森林的输入要求没有 NaN类别特征转为数值。这里延续上一层做好的滞后特征补上缺失值处理和城市哑变量。import pandas as pd import numpy as np df pd.read_csv(city_tourism_month.csv, parse_dates[month]) df df.sort_values([city, month]).reset_index(dropTrue) # 滞后特征 for col, lag_col in [(tourist_count, tourism_lag1), (online_index, online_lag1), (per_capita_spending, spending_lag1)]: df[lag_col] df.groupby(city)[col].shift(1) # log1p 压缩右偏 for col in [tourist_count, per_capita_spending, hotel_beds, online_index]: df[col _log] np.log1p(df[col]) # 缺失值滞后特征必然产生前几行空值用中位数填充 for col in [tourism_lag1, online_lag1, spending_lag1]: df[col] df[col].fillna(df[col].median()) # 城市名称转哑变量drop_first 避免共线性 df pd.get_dummies(df, columns[city], drop_firstTrue)shift(1)产生的前几行缺失是“必然缺失”不能用删除行来处理否则每个城市的最早几个月就全没了。按组填充中位数是相对保守的做法因为单棵树的切分逻辑只依赖这些值之间的相对大小中位数填充不会改变排序关系。城市变量本来是可以直接编码成 0/1 的但用get_dummies更稳妥。如果某个城市只有几十行记录直接编成整数会让树认为“城市 7 和城市 8”有大小关系这是没有意义的。哑变量把城市身份变成互斥开关模型可以单独学习每个城市的基线水平。3.2 按时间切分训练集顺序外推拒绝随机 shuffle文旅经济数据天然带时间属性模型最终要回答的是“过去的数据能不能预测未来的经济走势”而不是“在已知的结果里找回结果”。最常见的错法是直接用train_test_split默认参数随机切分这等于让模型在考试时偷看答案。# 特征列排除因变量和纯日期信息 exclude_cols [retail_sales, tertiary_output, month, city] feature_cols [c for c in df.columns if c not in exclude_cols] X df[feature_cols] y df[retail_sales] # 删除因变量为空的行且对齐特征矩阵 valid y.notna() X.notna().all(axis1) X, y X[valid], y[valid] # 按时间顺序切分前 80% 训练后 20% 测试 cut int(len(X) * 0.8) X_train, X_test X.iloc[:cut], X.iloc[cut:] y_train, y_test y.iloc[:cut], y.iloc[cut:] print(f训练集 {len(X_train)} 行测试集 {len(X_test)} 行)这段代码的关键是不调用train_test_split直接用位置索引切分。原始数据已经按[city, month]排过序所以前 80% 行在时间上一定早于后 20% 行。按时间切分后测试集的 R² 会比随机切分低不少这是正常现象这个偏低的数字才是论文里真正能对外报告的指标。这里再补一个建议如果城市数量多、每个城市样本量不一致按行数切分会导致某些城市全在训练集或全在测试集。更严格的做法是按“城市-月份”分层切分也就是每个城市都留出最后 20% 的月份做测试。代码上可以改成遍历每个城市分别切这里不过度展开但论文里值得提一下。3.3 训练随机森林回归模型参数初值这样设训练这一步代码很短但参数的初值选择是项目里最值得说清楚的部分。from sklearn.ensemble import RandomForestRegressor model RandomForestRegressor( n_estimators300, max_depth10, min_samples_leaf3, max_featuressqrt, random_state42, n_jobs-1, oob_scoreTrue, ) model.fit(X_train, y_train) print(OOB R2:, round(model.oob_score_, 4))初值参数我习惯这样设n_estimators300树太少稳定性不够太多训练时间线性增长而收益递减300 到 500 是文旅这种中小数据集的常见区间max_depth10限制单棵树深度避免单棵树把训练集背下来min_samples_leaf3强制叶子节点至少 3 个样本进一步压缩方差max_featuressqrt是回归任务里 sklearn 推荐的默认策略每棵树只用特征总数的平方根个特征来寻找最佳分裂点这是随机森林“随机”二字的另一半来源。random_state42必须固定。文旅数据里很多变量的量级不大不固定种子的话每次跑出来的结果会有可感知的波动论文里写“实验可复现”就成了一句空话。oob_scoreTrue会启用袋外样本评估后面作为模型内部的稳定性参考。3.4 预测评估与情景模拟R²、RMSE 与“游客量 10%”推演评估指标选三个就够了R²、MAE、RMSE。R² 说明模型解释了因变量多少方差MAE 给出平均偏差的绝对数值RMSE 放大离群样本的惩罚。文旅数据里因变量是“社会消费品零售总额”量纲在亿元级别RMSE 大概在零点几到一两之间都属于可接受范围。from sklearn.metrics import mean_absolute_error, mean_squared_error, r2_score y_pred model.predict(X_test) print(R2:, round(r2_score(y_test, y_pred), 4)) print(MAE:, round(mean_absolute_error(y_test, y_pred), 4)) print(RMSE:, round(mean_squared_error(y_test, y_pred, squaredFalse), 4))预测做完还要做一个对论文结论直接有用的操作情景模拟。审论文的老师一定会问“你这个模型除了拟合历史还能干什么”。情景模拟就是答案。下面这段代码模拟游客量上涨 10% 对零售总额的影响。# 取测试集第一个样本做基线 X_scene X_test.iloc[[0]].copy() # 构造游客量 10% 的新场景 X_scene[tourist_count] X_scene[tourist_count] * 1.10 # 重要log1p 衍生列必须同步更新否则两个特征打架 X_scene[tourist_count_log] np.log1p(X_scene[tourist_count]) y_base model.predict(X_test.iloc[[0]])[0] y_scene model.predict(X_scene)[0] print(基线预测:, round(y_base, 3)) print(游客量10%预测:, round(y_scene, 3)) print(增幅:, round((y_scene - y_base) / y_base * 100, 2), %)这段代码最值得注意的地方是同步更新衍生列。前面做了tourist_count_log它和tourist_count是同一个信息的两个视图修改原始列不同步修改 log 列模型会同时看到“原始值变大但 log 值不变”的冲突组合预测结果没有任何意义。这也是做特征衍生时最常见的坑任何对原始列的修改都必须同步到它的衍生版本上。得到“游客量上涨 10%零售总额上涨约百分之几”这个数字论文的结论章节就有了核心论据。4. 从分析源码到论文实证章节图表组织与稳健性检验标题里“源码论文”这个组合说明代码只是项目的一半另一半是把分析结果组织成一篇规范的论文。我见过不少项目代码质量不错但论文里图表和代码产出对不上或者稳健性检验只有一句话带过评审时被问住。这一章给出一套可以直接套用的组织方案。4.1 论文六章结构与代码素材对照表论文不一定要按“摘要-引言-方法-结果”的固定模板写但实证部分必须形成闭环。下面这张对照表是我在组织这类课题时常用的结构每一行都对应前面某段代码可以交付的素材。论文板块必须写清楚的内容对应素材来源摘要研究问题、数据范围、方法、核心结论第 3 章的 R² 与情景模拟结果研究背景与综述文旅经济效应测算方法演进随机森林在社科数据中的应用文献检索不需要代码研究设计变量定义表、数据来源、模型设定理由第 2 章字段表与 3.3 参数说明实证结果描述性统计、特征重要性、预测精度、情景模拟特征重要性图、真实 vs 预测散点图稳健性检验换因变量、换随机种子、换样本窗口后结论是否一致第 4.3 节代码结论与建议哪个因素对经济拉动最明显、政策建议特征重要性排序 情景模拟数字这里有一个容易被忽视的点论文里的“模型设定”小节不要只写“使用随机森林”要写清楚n_estimators300、max_depth10、min_samples_leaf3以及按时间序切分的逻辑。评审老师看到具体参数才有办法判断你的模型是否合理这也是数据分析和预测项目区别于纯代码练习的地方。4.2 实证部分三张图表中文字体配置与一次出图论文实证部分通常需要三张图特征重要性条形图、真实值与预测值散点图、树数量与 OOB 误差曲线。下面这段代码一次生成三张并列图输出直接可用于论文插图的 PNG 文件。import matplotlib.pyplot as plt from sklearn.ensemble import RandomForestRegressor # 中文字体配置缺了这一步标题全是方块 plt.rcParams[font.sans-serif] [SimHei] plt.rcParams[axes.unicode_minus] False fig, axes plt.subplots(1, 3, figsize(15, 4.5)) # 左侧特征重要性 imp pd.Series(model.feature_importances_, indexfeature_cols).sort_values() imp.plot.barh(axaxes[0]) axes[0].set_title(特征重要性) # 中间真实值与预测值散点 axes[1].scatter(y_test, y_pred, alpha0.5) axes[1].plot([y_test.min(), y_test.max()], [y_test.min(), y_test.max()], r--) axes[1].set_xlabel(实际值) axes[1].set_ylabel(预测值) axes[1].set_title(测试集预测对比) # 右侧树数量与 OOB 误差 errs [] for n in range(50, 501, 50): m RandomForestRegressor(n_estimatorsn, max_depth10, min_samples_leaf3, random_state42, n_jobs-1, oob_scoreTrue) m.fit(X_train, y_train) errs.append(1 - m.oob_score_) axes[2].plot(range(50, 501, 50), errs, markero) axes[2].set_xlabel(树的数量) axes[2].set_ylabel(OOB 误差) axes[2].set_title(树数量与误差关系) plt.tight_layout() plt.savefig(paper_figs.png, dpi300)第一张图的排序已经是升序条形图水平绘制时最重要的特征会排在最上面不需要额外处理。第二张图红线是 yx 对角线散点贴着红线说明预测越准如果大部分点在红线下方说明模型系统性低估这个信息论文里值得写一句。第三张图用于论证 300 棵树是否够用曲线在大约 150 棵树之后趋于平稳就说明 300 是合理选择。SimHei是 Windows 自带中文字体如果运行环境是 macOS 或者 Linux改成[PingFang SC]或[Noto Sans CJK SC]否则中文依然乱码。dpi300是为了满足论文印刷分辨率别用默认 100。4.3 稳健性检验换因变量、换种子、换窗口稳健性检验是论文里最能体现学术规范的一节哪怕只是把因变量换成另一个口径再跑一遍。下面是换因变量的完整做法测试集和特征矩阵保持不变只替换目标变量。configs [ (基准社会消费品零售总额, retail_sales), (替换第三产业产值, tertiary_output), ] for name, target in configs: y_tr train_df[target] y_te test_df[target] m RandomForestRegressor(n_estimators300, max_depth10, min_samples_leaf3, random_state42, n_jobs-1) m.fit(X_train, y_tr) r2 r2_score(y_te, m.predict(X_test)) print(f{name} R2: {round(r2, 4)})论文里报告这一节时不需要解释为什么两个 R² 有差异只需要说明“更换因变量后模型的预测精度保持稳定证明结论不依赖于特定的指标口径”。如果 R² 出现明显变化也要如实写并解释原因比如第三产业产值受投资和外贸影响更大文旅消费占比被稀释这本身就是有价值的分析结论。5. 随机森林文旅预测项目的 5 类典型坑与排查方法这一章把我在类似项目里踩过的坑按“现象、原因、解决”写清楚。每一条都是真实发生过的按顺序排查能省下大量时间。5.1 按时间外推就垮的“伪高精度”切分泄漏现象随机切分训练集和测试集R² 高达 0.95换成按时间切分后 R² 直接掉到 0.6 左右。原因文旅月度数据有很强的自相关性上个月的零售额本身就能预测下个月。随机切分时每个测试样本都能在训练集里找到紧邻它的时间同类模型相当于在“复读”而非“预测”。解决从第一步切分就坚持按时间顺序。测试集必须整体晚于训练集在论文方法部分写清楚“按时间序列划分前 80% 为训练集后 20% 为测试集”。如果掉到 0.6 不是模型不行而是这才是真实的外推水平这个数字更有说服力。5.2 特征重要性每次跑都不一样共线特征在抢功劳现象同样的代码只改random_state特征重要性的前两名在“游客接待量”和“网络热度指数”之间反复横跳排序变化很大。原因这两个变量高度相关网络热度高通常伴随游客量增加。单棵树随机选择特征子集时有时选游客量做分裂有时选热度指数做分裂它们分摊了重要性分数。解决不要急着调参。先用from sklearn.inspection import permutation_importance做置换重要性二次验证置换重要性通过打乱单个特征来衡量预测精度损失对共线性的表现更稳健。同时把n_estimators提高到 500 以上稳定性会有可感知的提升。论文里如果发现这个问题可以写一句“两个指标在经济含义上互相印证”来收尾。5.3 极端月份预测“钝化”随机森林没有外推能力现象某年某市举办了大型文旅活动游客量达到平时三倍消费数据也确实大幅上涨但模型预测值只涨了一小截。原因随机森林的叶子节点输出的是该叶子内训练样本的平均值。当输入特征的取值超出训练集范围时样本只能落到最边缘的叶子上而那片叶子的均值被大量普通月份稀释预测值自然钝化。解决在做情景模拟时先检查输入值是否超出训练集的范围。对于文旅活动这类一次性事件更合理的做法是单独构建一个包含活动月份的对比分析而不是强求模型在线性外推上给出准确答案。论文讨论部分可以把这一点作为模型的局限性写出来反而是加分项。5.4 OOB 分数高、测试分数低别让 OOB 安慰你现象oob_score_显示 0.93但测试集 R² 只有 0.65两个数字差距很大。原因OOB 分数是模型在袋外样本上的表现这些样本和训练样本来自同一时间区间本质上仍是“区间内预测”。测试集是时间外推区包含分布漂移和未知的新情况分数更低是必然的。解决论文里不要混用这两个指标。OOB 分数可以放在参数选择部分说明“模型的稳定程度”测试集 R² 放在实证结果部分说明“模型的外推表现”。如果 OOB 分数明显低说明树的数量不足或单棵树太弱优先调n_estimators和max_depth如果 OOB 高但测试低问题大概率出在时间分布漂移上检查测试集的月份是否包含训练集从未出现过的季节性模式。5.5 中文乱码与“代码撞车”容易被忽略的交付问题现象跑完特征重要性图保存的 PNG 里中文标签全是方块提交源码后和公开教程的代码结构撞了。原因matplotlib 默认字体不含中文代码撞车是因为直接参考了公开示例没有重构。解决中文字体配置用第 4 章那段plt.rcParams设置macOS 用[PingFang SC]Linux 用[Noto Sans CJK SC]。代码查重层面没有捷径可走把shift、fillna、get_dummies这些操作重新组织和命名加上自己的注释和模块划分同时不要保留无用的参考代码注解。这个环节虽然不直接影响模型效果但直接决定论文能不能顺利提交。6. 进阶用 SHAP 把随机森林从黑匣子变成可解释模型基础流程跑通之后如果想让论文的深度再上一个台阶下一步是做模型解释性。随机森林在多数人眼里是黑匣子但 SHAP 可以把每个特征在每个样本上的贡献拆解出来让结论从“模型用它预测”变成“我们因此知道它为什么这么预测”。这个能力在文旅经济课题里特别有用因为评审关心的不是预测精度本身而是“到底什么在影响地方经济”。import shap # 用训练好的模型构建 TreeExplainer取测试集前 100 个样本 explainer shap.TreeExplainer(model) shap_values explainer.shap_values(X_test.iloc[:100]) shap.summary_plot(shap_values, X_test.iloc[:100], feature_namesfeature_cols, showFalse) plt.savefig(shap_summary.png, dpi300)summary_plot输出的散点图能同时展示两个维度颜色表示特征值高低红色高、蓝色低横轴表示 SHAP 值正数推动预测上升负数推动下降。比如online_index的散点呈现“红色集中在右侧、蓝色集中在左侧”就可以在论文里写“网络热度对消费有显著正向拉动作用且热度越高拉动越强”。这和特征重要性图的区别在于重要性图只告诉你哪些变量重要SHAP 告诉你它们朝哪个方向起作用、作用是否单调。从这步往后项目就算进入收尾阶段了。我自己的习惯是固定好一个完整流程数据清洗、滞后特征、时间切分、随机森林、特征重要性、情景模拟、SHAP 解释跑完这七步再动笔写论文。顺序反了会走很多弯路先写论文再补实验图表和结论往往对不上。这个习惯救过我不少次希望帮到你。本文还有配套的精品资源点击获取