社交网络分析实验指南：从NetworkX数据清洗到社区发现与可视化

简介面向哈工大计算机课程实验的社交网络分析完整项目包适合正在学习数据挖掘、图论与算法编程的高校学生也适合课程设计备赛参考。实验内容覆盖社交网络建模、原始数据清洗与预处理、深度/广度优先遍历、度与聚类系数计算社区检测涵盖Louvain方法与模块度优化中心性分析包括度、接近、介数和特征向量等指标并配有数据可视化应用场景帮助学习者从原始数据到网络图形完整走通分析流程。压缩包约1.74MB主要包含Python/Java实现源码、实验说明书及课程汇报PPT文件围绕实验流程组织便于对照代码、报告和演示文稿逐步复盘。已有153人学习下载对希望快速上手社交网络分析并提升编程实践能力的学习者具有直接帮助。1. 社交网络分析课程实验这份源码包里到底藏着什么如果你正在为“哈尔滨工业大学计算机课程实验-社交网络分析”这门课焦头烂额大概率是卡在同一个地方数据拿到了、NetworkX也装了但不知道从哪一行开始写或者代码跑通了画出来的图却是一团乱麻老师一问“你的模块度为什么是0.02”就当场语塞。社交网络分析本质上不是“调库”而是从真实关系数据里提取结构规律谁重要、哪些人抱团、信息怎么扩散。这份标题里的源码和说明书价值不在于“能跑”而在于它帮你把一条完整的分析流水线——数据清洗、图构建、指标计算、社区发现、可视化——串了起来。我拿到类似课程包时第一件事从来不是看代码而是先翻说明书里的实验目标与评分点因为那才是决定你该在报告里写什么的“锚”。这篇笔记就按这条流水线拆开讲新手能照着重做熟手也能在里面找到容易被扣分的边界细节。2. 从原始数据到图结构社交网络分析的第一步不是写代码很多人的第一个翻车点是拿到源码后直接运行然后发现报错信息里全是KeyError和ValueError。原因很简单课程实验给的数据往往是原始日志或爬虫抓下来的CSV不是现成的邻接表。社交网络分析第一步不是import networkx而是把数据整理成图能接受的形式。源码里的说明书通常只在“实验数据”一节提一句“数据格式见data.rar”但格式细节往往是坑。2.1 数据格式与预处理邻接表、边列表还是CSV常见的原始数据有三种形态。第一种是边列表两列分别是源节点和目标节点可能还有第三列权重第二种是邻接表一行里第一个元素是节点后面跟着所有邻居第三种是带属性的节点表加边表例如“用户表”包含user_id和注册时间“关系表”包含follower_id和followee_id。源码里如果给的是一张宽表每一行代表一次交互比如“用户A 转发了 用户B 的微博”那么第一件事就是去重和聚合把重复交互合并成权重。我一般会先写一个预处理函数只做三件事读CSV、清洗空值、去自环。清洗空值不是简单dropna要区分“空字符串”和“NaN”因为pandas读进来的空单元格有时是有时是nan如果直接按notna()过滤会漏掉。自环问题更隐蔽如果原始数据里存在“用户A评论了自己”这种记录在图里表现为loop edge计算聚类系数时会直接受影响。最简单的处理是import pandas as pd def load_edge_list(path, src_colsource, dst_coltarget, weight_colNone): df pd.read_csv(path) # 去除全空行再把字符串类型的空值统一转成 NaN df df.replace(r^\s*$, pd.NA, regexTrue).dropna(subset[src_col, dst_col]) # 去自环源和目标相同的边在多数网络分析里没有意义 df df[df[src_col] ! df[dst_col]] # 如果有权重列按源目标聚合求和没有则相当于权重都为1 if weight_col and weight_col in df.columns: df[weight_col] pd.to_numeric(df[weight_col], errorscoerce).fillna(1) edges df.groupby([src_col, dst_col])[weight_col].sum().reset_index() else: edges df[[src_col, dst_col]].drop_duplicates() return edges逻辑说明这段代码先把字符串空值统一成pd.NA再按源和目标列去空确保后面groupby不会把空值当类别。自环过滤必须放在去重之前否则遇到“A-A”和“A-A”两条记录过滤后仍然可能残留一条。权重聚合用sum()的语义是“交互次数”如果你的权重列是“点赞数”之类的强度值sum是合理的如果是“距离”这类需要平均的指标这里要换成mean()。参数说明src_col和dst_col要和你实际CSV表头对上说明书里如果写的是“from”和“to”就别用默认参数。2.2 用NetworkX构建有向/无向图的最小代码预处理完就是建图。这里有两条路线一是直接用nx.from_pandas_edgelist二是自己遍历添加节点和边。课程实验的源码倾向于用前者因为它一行能解决但问题在于它不会告诉你图是不是连同的。社交网络分析里最怕的就是“图看起来很大实际拆成几百个连通分量”因为大部分指标在孤立分量上算出来毫无意义。import networkx as nx edges load_edge_list(data/edges.csv) G nx.from_pandas_edgelist( edges, sourcesource, targettarget, edge_attrweight if weight in edges.columns else None, create_usingnx.DiGraph() if directed else nx.Graph() ) print(nx.info(G)) print(连通分量数:, nx.number_weakly_connected_components(G) if directed else nx.number_connected_components(G))逻辑说明create_using决定了后面所有指标的语义如果实验要求分析“关注关系”必须用nx.DiGraph()因为A关注B不代表B关注A如果只是“好友关系”用无向图nx.Graph()。我把directed作为外部开关方便你在同一个实验里对比两种建模对指标的影响。注意edge_attr传weight时pandas列名必须是字符串否则下游nx.pagerank(G, weightweight)会因key不存在而静默跳过权重这个坑尤其隐蔽——代码不报错结果全错了。打印nx.info(G)和连通分量数是为了在跑指标前就发现数据有没有“断连”。参数说明from_pandas_edgelist会自动把缺失节点补上不需要手动add_node。但如果你的原始数据中有“孤立用户”——只在节点表出现、没有任何边——则必须用G.add_nodes_from(user_list)手动补否则这些节点不会出现在图里。说明书里如果提到“分析全部用户”这一步漏掉会让节点数和报告里的总用户对不上。提示检查图连通性这一步很多人跳过直到做可视化时发现图上飘着几个孤零零的点才回头查。先跑一遍nx.info()再往下写能省半小时。3. 核心指标计算度、介数、紧密度与PageRank的落地实现图建好了实验的重头戏是计算节点重要性指标。源码包里一般会有一段“计算所有节点的度中心性并于PageRankTop20对比”的代码但新手经常犯的错误是直接调用接口、不做归一化、也不知道返回值长什么样。这一章把常见指标的含义、参数选型和代码落地一次讲透。3.1 中心性指标公式意义与代码对应社交网络分析课程的指标分两类局部指标和全局指标。度的中心性degree centrality是局部指标只数邻居个数介数中心性betweenness centrality是全局指标看一个节点出现在多少条最短路径上。代码上两者都是nx.一行调用但代价完全不同。介数中心性的精确计算复杂度是O(N*M)对几千节点的小网络能跑但放到几万节点的图就开始卡。所以源码里通常会加一个k参数用近似算法。# 度中心性按度数除以 n-1 归一化适合对比不同规模的图 deg_c nx.degree_centrality(G) # 介数中心性k500 表示随机采样500个源节点做近似只有无向图才支持 # 这里用 k 参数控制计算代价 bc nx.betweenness_centrality(G, k500, normalizedTrue, weightweight) # 紧密度中心性算到所有可达节点的平均距离的倒数 cc nx.closeness_centrality(G, distanceweight if nx.is_weighted(G) else None)逻辑说明degree_centrality里归一化分母是n-1因为最大可能的邻居数是其他所有节点。源码里如果直接打印G.degree()得到的是绝对值写报告时最好用中心性而不是原始度数。betweenness_centrality的k参数是精髓——kNone表示精确计算但节点多时会非常慢取k500后算法随机选500个源节点做抽样误差通常在可接受范围而且必须配合seed才能复现。测试时用seed42固定抽样。closeness_centrality要注意的是如果你的图是带权图就必须传distanceweight否则参数weight不会生效它默认按跳数算距离有权重的和没权重的一样。这在用“交互次数”作为权重的网络里会导致紧密度排名完全错误。参数说明normalizedTrue是介数中心性的默认选项它会将结果除以(n-1)(n-2)无向图或(n-1)(n-2)/2有向图让最大值不超过1。写报告时最好统一用归一化后的值否则无法对不同规模的网络做对比。此外nx.pagerank也是中心性的一种它和上面三个指标最大的差别是度中心性只看邻居数量PageRank还考虑了邻居本身的质量即“被重要节点关注比被一堆僵尸粉关注更值钱”。如果你的实验评分标准里有“Top10节点对比”那就把四个指标的结果放一张表用sort_values排一下。3.2 社区发现Louvain与标签传播的选型与实现社区发现是社交网络分析实验里最能拉开分差的部分。常见实现有两种community库里的Louvain算法和NetworkX自带的标签传播Label Propagation。源码里如果用了community.best_partition说明走的是Louvain路线如果用了nx.algorithms.community.label_propagation_communities则是标签传播路线。两者都能给节点打上社区标签但适用场景不一样。# 方案一Louvain基于模块度优化效果稳定但依赖 python-louvain 包 try: import community as community_louvain partition community_louvain.best_partition(G.to_undirected(), weightweight, random_state42) modularity community_louvain.modularity(partition, G.to_undirected(), weightweight) except ImportError: print(需要先安装 python-louvainpip install python-louvain) # 方案二标签传播不依赖第三方库但结果随机性强 from networkx.algorithms.community import label_propagation_communities, greedy_modularity_communities communities list(label_propagation_communities(G.to_undirected()))逻辑说明Louvain算法在内部要把图转成无向图因为模块度计算基于无向边如果你传入有向图best_partition会静默忽略方向信息只把有向边当无向边处理。这一点说明书里几乎不会写但结果是你的社区划分可能把“单向关注”也当成“紧密连接”。random_state42是关键——Louvain有随机性同样的数据在不固定随机种子时可能跑出不同社区期中报告里你写出的模块度必须是可复现的。标签传播不依赖第三方库但它初始化时每个节点随机选标签所以每次跑社区数都不同提交实验时千万要把seed也固定下来或者直接用greedy_modularity_communities它是确定性算法结果稳定但社区粒度偏大。参数说明weightweight在Louvain里表示边的权重参与模块度计算如果你的图没有权重列这行会报KeyError所以要么去掉该参数要么在预处理时保证每条边都有weight属性。modularity函数返回的模块度范围在[-1,1]之间社交网络里通常0.3~0.7算合理如果算出来是负数说明你的图几乎无法聚类这时候先回上一章检查是不是忘了去自环——自环过多会严重拉低模块度。注意Louvain和标签传播结果都是节点到社区的映射但返回结构不同。Louvain的partition是字典{节点: 社区编号}标签传播返回的是生成器里面的元素是frozenset。写报告前统一转换成{node: community_id}方便后续着色和统计社区规模。4. 可视化与结果解读把网络图画成能写进报告的样子代码算出的指标只是数字课程实验的评分点往往在“你如何把网络结构画出来并读出一个故事”。很多人用NetworkX默认布局画出来的图惨不忍睹几千个节点挤成一团黑芝麻或者只能看到中间一个核心节点周围全是毛线。好的可视化不是炫技而是要让老师一眼看到社区结构、Hub节点和网络中的桥。这一章讲三个落地技巧布局选型、节点映射、社区着色。4.1 布局算法选型不是越多节点越好NetworkX自带的布局有spring_layout、kamada_kawai_layout、circular_layout和shell_layout。源码里最常见的spring_layout弹簧模型在节点数超过500时效果很差因为力导向布局的迭代次数与节点数强相关默认iterations50根本不够收敛。我一般用kamada_kawai_layout替代它基于最短路径距离做距离保持对中小规模图几百到几千节点的社区结构展示比弹簧图清晰得多虽然计算复杂度高但课程实验的数据集通常不会超过几万条边完全扛得住。import matplotlib.pyplot as plt import networkx as nx # 对节点数大于1000的图用 kamada_kawai 往往比 spring 更清楚 pos nx.kamada_kawai_layout(G, weightweight) # 节点大小映射为度中心性颜色映射为社区编号 node_size [ 50 500 * deg_c[n] for n in G.nodes()] community_list [partition.get(n, 0) for n in G.nodes()] plt.figure(figsize(16, 12)) nx.draw_networkx_edges(G, pos, alpha0.1, width0.5) sc nx.draw_networkx_nodes( G, pos, node_sizenode_size, node_colorcommunity_list, cmapplt.cm.tab20, alpha0.8 ) plt.colorbar(sc) plt.axis(off) plt.savefig(social_network_visual.png, dpi300)逻辑说明node_size用列表推导式把度中心性放大到50到550的范围这样Hub节点在图上明显大于普通节点老师一眼就能看出“这个社区的中心是谁”。node_color映射为社区编号颜色越相近的节点越可能属于同一社区配合cmaptab20可以区分最多20个社区。alpha0.1画边是为了不掩盖节点如果图太密可以改成只画“桥边”——即两端节点不在同一社区的边这样能突出网络中的连接结构。注意draw_networkx_nodes的cmap参数接受连续的colormap但community_list是整数它会自动按比例映射到颜色不需要手动归一化。参数说明spring_layout的几个参数在源码里经常被忽略。k控制理想距离默认1/sqrt(N)在节点数上千时偏大导致节点全部挤到画布边缘如果你坚持用spring_layout把k0.1, iterations300试一下。seed同样重要布局是随机初始化的固定seed才能在两次运行间得到一致的图。保存图片用dpi300直接拖进报告不用重截。4.2 按社区着色与节点标签的取舍课程报告里最忌讳的画法是“给每个节点都标上标签”几千个标签挤在一起图直接变二维码。我通常只对两类节点加标签度数最高的Top10以及不同社区之间起连接作用的“桥节点”介数中心性最高的若干节点。操作分两步先算每个节点的标签是否要显示再传入labels参数。label_nodes set() # 度数Top10 top_deg sorted(deg_c.items(), keylambda x: x[1], reverseTrue)[:10] # 介数Top5 top_bc sorted(bc.items(), keylambda x: x[1], reverseTrue)[:5] label_nodes.update(n for n, _ in top_deg) label_nodes.update(n for n, _ in top_bc) labels {n: n for n in label_nodes} nx.draw_networkx_labels(G, pos, labelslabels, font_size8, alpha0.9)逻辑说明label_nodes集合用set去重防止一个节点既是度数Top又是介数Top时重复绘制。draw_networkx_labels只接收字典所以给不需要标标签的节点直接不放进字典即可。注意标注节点的名称可能是用户ID而不是用户名如果数据里有“昵称”属性最好在预处理时把ID映射成昵称否则老师看到一堆数字ID会反问“这代表谁”。可视化之后报告里还需要一张社区规模表。常见做法是把partition按社区编号聚合统计每个社区的节点数和边数然后看哪些社区明显大于平均值。这种表格还能支撑你的分析结论比如“最大社区包含55%的节点且核心是技术博主群体”这就是一个能写进实验报告的可执行发现。5. 社交网络分析实验的5个避坑记录从数据清洗到结果解释这一章直接给踩坑记录每一条都是我在复现类似课程实验时真实遇到过的。按“现象 → 原因 → 解决”写你在跑源码时如果卡住优先来这章对照。5.1 数据缺失与空值统计总量和实际节点数对不上现象报告里写“本实验分析了10000个用户”但G.nodes()只有8701个节点老师一核对原始数据就发现少了。原因原始CSV里的用户ID列有缺失值pandas默认把空行读成NaN或者某个用户ID在“用户表”里存在但所有“边表”里都没有出现建图时被NetworkX忽略。解决预处理时把节点表单独读进来用G.add_nodes_from(ids)补全同时检查df[src_col].isna().sum()对空值统一填充成unknown然后过滤不能让NaN参与建图。5.2 自环边和重边没处理聚类系数异常高现象用nx.average_clustering(G)算出平均聚类系数0.85明显高于同类社交网络通常0.2-0.5。原因原始数据把“用户对自己的点赞/评论”也记录为一条边或者一对用户之间的多条交互被当成了多条平行边。NetworkX的Graph本身不允许重边但如果你用MultiGraph建图多条边会都被算进邻居集合里导致聚类系数虚高。解决在预处理阶段就用df[df[src] ! df[dst]]去自环再用drop_duplicates()去重如果要用权重就按上文groupby聚合而不是保留多行。5.3 有向图和无向图指标混用介数中心性结果看不懂现象同一个节点在有向图里的介数排名和无向图里完全不同报告里写了“节点X是最重要的传播者”但图上X只是边缘节点。原因betweenness_centrality在有向图里默认只按出边方向算最短路径即“从X出发能到多少节点”而无向图把方向抹掉后介数反映的是“作为桥梁连接两侧节点”。社交网络里像是“关注关系”这种有向图重要传播者应该看“入边”还是“出边”要看实验意图。解决明确实验要求——如果是分析“谁的信息能被广泛扩散”用G.reverse()把入边反转后再算介数如果只是分析“谁是被关注的核心”用入度中心性就够了。不要拿有向图和无向图的结果直接混在一张表里对比。5.4 随机种子没固定社区划分结果每次都不一样现象上午跑出来的社区数和下午跑出来的不一样模块度一边是0.42一边是0.38导师怀疑你造假。原因Louvain算法和标签传播都依赖随机初始化best_partition如果不传random_state每次运行结果都不同标签传播的seed参数同样决定初始标签分配。解决所有带随机性的函数必须固定random_state并把这个值写进报告的方法学部分。如果用了community.best_partition记得random_state42如果用NetworkX自带的louvain_communities新版本也要传seed42。5.5 说明书里的环境配置差异python-louvain 和 networkx 版本冲突现象源码里import community as community_louvain报错提示ModuleNotFoundError或者即使装了python-louvaincommunity模块在Python3.10下直接崩溃。原因python-louvain包在旧版本上对Python3.7-3.9支持良好但新版本NetworkX里的louvain_communities和旧包的名字空间冲突。另外NetworkX 2.x和3.x的API有变化比如nx.info()在3.x里仍然可用但attribute_assortativity_coefficient的签名改了。解决先看说明书里要求的NetworkX版本如果没写建议在虚拟环境里安装networkx2.8.8和python-louvain0.16这两者搭配最稳定如果不想降版本就把社区发现改成用nx.community.louvain_communities它不需要第三方包。用pip freeze把版本记录下发到报告附录能避免很多“在我电脑上能跑”的问题。6. 把源码包变成自己的实验报告进阶验证与私有数据集替换课程实验源码最大的价值不是让你直接提交而是让你借着它学会“怎么把一套代码迁移到自己的数据上”。最后这一章讲一个具体的技巧如何用已知小图验证你的代码再替换成自己的数据集让实验报告有差异化的竞争力。6.1 用已知小图验证代码正确性不要在拿到大数据集后才开始排查代码逻辑。我习惯先构造一个只有5个节点的图手动算出每个节点的度和介数然后跑源码里的指标计算部分对结果。比如一个“星型网络”中心节点连接四个叶子那么中心节点的介数一定是1.0叶子节点的介数一定是0。如果代码输出的不是这个数说明betweenness_centrality的参数设置比如normalized、weight有问题。import networkx as nx # 星型网络0 为中心 star nx.star_graph(4) # 共5个节点0连接1-4 bc nx.betweenness_centrality(star, normalizedTrue) assert abs(bc[0] - 1.0) 1e-9, f中心节点介数应为1.0实际{bc[0]} assert all(abs(bc[i] - 0.0) 1e-9 for i in range(1, 5)), 叶子节点介数应为0 print(小图验证通过)逻辑说明star_graph(4)生成一个5节点的星型图节点0是中心边是0-1、0-2、0-3、0-4。在这个图上所有最短路径都经过节点0任意两个叶子之间走0因此中心节点介数归一化后是1.0叶子之间互不经过介数是0。这段断言代码能直接验证你的normalized参数是否生效。接着再构造一个带权图比如两条从0到1的平行边预聚合后权重为2验证权重是否被weightweight正确使用。6.2 替换成自己的数据集的三个步骤课程实验如果允许自定义数据集最好换成与“社交网络”直接相关的数据比如微博转发关系、科研合作网络或GitHub开发者关注关系。替换时直接套用前面几章的代码只需改三处数据读取路径、节点ID类型、可视化中的标签映射。这三步看起来简单却是最容易出错的地方。第一步把load_edge_list的src_col和dst_col改成你新数据的列名如果节点ID是字符串比如GitHub用户名不要转成整数否则整数ID和字符串ID混在一起会让字典key查找失败。第二步在建图后加上一行G nx.relabel_nodes(G, id_to_name)把用户ID映射成可读名称这样后续可视化和报告中不用到处查字典。第三步确认新数据里有没有孤立节点如有则用add_nodes_from补全。跑完主流程后把新数据的社区规模表和Top节点表放进报告和原课程数据的结果做对比就能写出“我在另一个数据上复现了相同规律”的结论文段这种结论远比直接抄源码更让老师认可。我自己的习惯是每次拿到课程源码先花半小时画出一张“节点数—边数—连通分量数—平均聚类系数—模块度”的表格把潜在问题暴露在前面。这样最后的实验报告更像一份分析笔记而不是代码说明书。希望这些从数据清洗到指标验证的细节能帮你少走几步弯路把源码包里那些黑匣子变成自己手里的工具。本文还有配套的精品资源点击获取