S7706 CSS集群实战：从原理到排错，避开核心交换机冗余改造的坑

从S7706交换机开始聊聊CSS集群里那些坑和门道搞网络的老哥们应该都有这样的经历核心交换机一宕整个业务区直接变黑领导电话打爆桌面运维在群里狂发“网络是不是断了”。说实话单机部署的核心交换机不管牌子多硬、规格多高放在生产环境里都像在走钢丝。华为S7706作为一款老牌框式核心交换机用了这么多年我最推荐的高可用方案还是CSS集群——也就是通过集群卡把两台S7706虚拟成一台逻辑设备来管理。这篇文章我就以集群卡方案为主线把CSS集群从原理、规划、配置到排错完整过一遍希望能帮正准备做核心冗余改造的朋友省点弯路。先交代一下适用读者网络工程师、运维负责人、数据中心架构师以及那些刚接触框式交换机集群、想搞明白CSS到底怎么玩的人。我会尽量用大白话把关键概念讲透配置命令也会直接给出但这不是纯新手教程命令背后的设计思路和坑点才是重点。1. CSS集群方案整体设计思路为什么选集群卡而不是堆叠线缆1.1 CSS集群到底解决了什么问题CSS全称Cluster Switch System中文叫集群交换机系统。它的核心思想很简单把两台独立的交换机通过某种物理链路连接起来再用专门的集群协议让它们共享一套控制平面和转发状态对外呈现为一台逻辑交换机。管理面上你只需要登录一个IP配置一份转发面上跨设备的流量就像本机转发一样不需要跑STP去阻塞端口链路利用率直接拉满。相比传统的VRRP双归接入方案CSS最大的优势有两个。第一是管理简化两台设备一份配置不用维护两套配置模板再靠VRRP抢主备减少了“配置漂移”这种隐性故障。第二是转发性能翻倍跨设备链路不再需要经过STP阻塞可以同时转发流量对延迟敏感的业务更友好。从我实际维护的经验看CSS集群在核心场景里真的能把故障切换时间压缩到毫秒级比VRRP的秒级切换体验好太多。1.2 集群卡、集群线缆和业务口堆叠到底选哪个很多人在选集群方案时容易纠结。S7706支持以下几种CSS方式组网方式硬件依赖带宽适用场景集群卡方式需购买专用集群卡如ES0D0CSSA0000单卡通常提供大带宽可插多卡叠加大型核心追求高可靠、高性能业务口堆叠复用业务口需配合堆叠线缆或光纤模块取决于口速率和数量中小型汇聚成本敏感背靠背堆叠集群卡直连物理上两台设备紧邻高带宽低延迟同机房核心省光模块我见过不少人在S7706上用业务口做堆叠说实话也能跑但业务口堆叠要占用业务板卡端口而且S7706这种大盘设备流量大的时候业务口堆叠的转发延时会比集群卡方式明显高一些。集群卡方式是华为框式设备最正统的做法通过专用的集群卡和高带宽集群线缆互联控制报文和数据报文都走独立通道不占用业务口更稳。顺便说一句S7706集群卡一般插在主控板旁边的专用槽位不同版本支持的业务口堆叠能力也有差异具体要查该版本《CSS集群白皮书》或硬件手册。配置前一定要核实设备型号、板卡类型和软件版本物理上不支持的话后面全是白搭。1.3 集群域、集群ID和优先级一组必须先搞懂的名词CSS配置里面有几个概念新手特别容易糊集群域Domain、集群ID、优先级。我拿日常场景来解释。集群域是一个编号用来标识同一个集群内的成员设备。两台设备要想组成集群它们的Domain必须一致否则集群协商根本不会成功。就好比对暗号暗号对不上人家不认你。集群ID是设备在集群里的身份标识。主设备的集群ID默认是1备设备是2。如果提前规划好每台设备的集群ID后续集群分裂检测、成员管理都会省很多事。优先级则决定了谁当主设备。优先级高的设备在选举中占优势默认是1范围1-255。你可以把老设备、配置完整的设备、或者希望长期做主节点的设备优先级调高。这几个参数不建议在设备跑起来之后频繁改。我遇到过现场同事图省事直接在建集群前不规划ID和优先级结果两台设备优先级别一样靠MAC地址硬选出主备完全不受控。后面加设备、换板卡时整个集群状态都很难把控。所以在起集群之前一定要先把ID、优先级规划好写进割接方案里。2. CSS集群配置前必备检查硬件、版本和线缆2.1 硬件兼容性自查清单配置动作本身很快真正费时间的反而是准备阶段。做S7706集群卡方案之前我习惯按下面这个清单核对一遍。首先确认主控板型号和集群卡的匹配关系。S7706的主控板通常是SRUH系列或更早的SRUA系列不同主控支持的集群卡槽位和卡型号不一样。我见过有人拿着SRUA主控板想插新款的集群卡结果根本认不到卡。买卡之前把设备序列号ESN和软件版本发给华为400或者代理商让官方确认过兼容性再下单。其次是集群卡的槽位占用。S7706框式设备上集群卡一般要求插在主控板旁的固定槽位而且要保证两台设备的集群卡槽位对称。比如A设备插的5号槽B设备也必须是5号槽。如果不对称部分版本可以但跨板转发路径会不均衡性能会受影响。做方案时直接规定“主备设备对应槽位必须一致”。然后是集群线缆的规格与长度。集群卡之间通常用专用高速线缆连接分叉式或者直连式都有。选线缆时注意长度要够S7706机柜内两台设备如果上下叠放线缆长度一般没问题但若是跨机柜放置就要提前量好走线距离别等线缆到现场发现够不着。按我的习惯宁可长一点预留走线弧度也不要卡得刚刚好。2.2 软件版本和License最容易忽视的坑硬件检查完了软件版本是另一个大坑。CSS集群对软件版本要求非常严格两台设备的系统软件版本必须完全一致包括补丁版本。比如A设备是V200R019C10SPC500B设备是V200R019C10SPC600这种情况组集群大概率会出问题哪怕主备协商成功了后续同步也可能出现异常。组集群前我强烈建议先把两台设备的系统软件、补丁统一升级到目标版本再重启、验证单机状态正常最后才做集群配置。别想着“先组集群再升级”集群状态下升级的复杂度指数上升尤其是备设备升级时集群分裂风险很大一个不小心就把正在运行的业务打断。License方面也得注意。有些高级功能比如跨设备链路聚合、集群内M-LAG、纵向虚拟化等可能依赖特定License。如果你的业务场景要用到这些能力在组集群前就要检查License是否已经加载。我遇到过一次现场集群建好之后发现M-LAG配置无法下发查了半天才发现是License缺失又得临时申请License整个割接窗口被拖长。2.3 光模块和物理链路自检集群卡之间的物理链路通常用的是专用的铜缆或光纤套件。如果你用的是光纤方案S7706集群卡上的光口一般要求配对使用指定型号的光模块建议直接买华为原厂模块或经官方认证的兼容模块。千万别为了省几十块钱用杂牌光模块集群链路对信号质量的要求远高于普通业务口劣质模块可能导致集群频繁闪断。接通线缆后、配置前也别急着敲命令。我习惯先查看集群卡的光口物理状态确认链路up再开始配置。如果光口down大概率是线序接反、光模块故障或灰尘污染这些问题都要在配置前消除否则配置到一半发现链路起不来排查起来既费时间又容易误操作。3. 集群卡CSS的核心配置实操一步步搭起来3.1 登录与初始状态确认开始配置之前登录每台设备先做一遍基础巡检。重点看设备当前的集群状态是空还是已经有历史残留配置。旧设备被拆过集群、降级回单机运行再重新组集群前一定要用命令把残留的集群配置清理干净。# 查看当前集群状态 display css status # 查看集群卡状态 display css card status # 查看设备软件版本 display versiondisplay css status如果显示Mode: Single说明当前还是单机模式可以开始配置。如果显示Mode: CSS且不是你要的组网就要先执行集群降级操作把设备恢复为单机再进行新一轮配置。直接在有集群残留的配置上叠加新配置是现场事故的高发源头一定要先reset干净。3.2 配置集群域、集群ID和优先级假设两台S7706规划如下A设备为主设备集群ID为1优先级为150B设备为备设备集群ID为2优先级为100。集群域统一用10。先登录A设备进入系统视图。system-view # 配置集群域 css domain 10 # 配置集群ID css id 1 # 配置集群优先级 css priority 150再登录B设备做同样的配置但ID和优先级不同system-view css domain 10 css id 2 css priority 100注意css id命令必须在单机模式下配置并且配置完成后需要保存配置然后重启设备才能生效。集群ID不是即时生效的参数它是设备启动时用的改完之后不重启不生效。我见过不少新手在这步死活不肯重启反复查看状态总是不对卡了大半天。3.3 开启集群卡功能并保存配置配置完ID和优先级后还要启用集群卡功能。S7706的集群卡在物理上已经插好但逻辑上需要在系统视图下打开对应集群卡的开关。system-view # 进入集群卡接口视图以集群卡槽位5为例 interface css-port 5/1 # 使能集群卡端口 undo shutdown quit # 保存配置 save不同版本的命令格式略有差异有的版本直接在系统视图下用css port或css enable开启集群功能。具体以你的设备版本为准但思路是一样的——让集群卡端口生效。如果集群卡上有多个集群端口建议全部开启并都连上线缆既能提升带宽又能增加冗余。配置保存后重新启动设备。重启后两台设备会自动协商协商成功后就进入CSS模式。等到两台设备都起来后登录任意一台设备执行display css status应该能看到状态变成Mode: CSS同时显示主备角色、集群ID、优先级等信息。3.4 集群建立后的状态确认集群建立后第一件事是确认主备关系和集群卡链路状态。display css status display css card status display device输出里重点看这几项集群模式是否为CSS主设备是否是你预期的那台备设备是否正常registered集群链路是否都是up状态。如果发现主设备不是你预期的那台比如B抢了主可以从容处理。检查两台设备的优先级配置是否都生效如果生效了还选错主可能是B设备先启动完成在A还没启动完成时B已经自举为主了。解决方案是重新规划优先级差或者直接把B先关机等A启动完成并成为主后再启动B加入集群。3.5 配置业务口接管和M-LAG可选但推荐集群建好之后原来的业务配置还在各自的单机上需要你把业务逻辑改成集群统一的视图。最常用的做法是把两台设备之间的链路汇聚或配置跨设备链路聚合M-LAG让接入交换机或服务器无论接到哪台设备上逻辑上都像接到同一台交换机上。M-LAG的配置思路大致是创建Eth-Trunk将两台设备的成员口都加入同一个Eth-Trunk但需要保证两台设备的Eth-Trunk编号一致。再配合DFS Group动态故障切换组来同步M-LAG状态。不过S7706在纯CSS模式下底层本身就是一套控制平面很多场景下直接配置普通Eth-Trunk跨设备也是可以的。具体的M-LAG配置牵扯较多建议单独规划这里点到为止。4. 集群卡CSS维护、升级和故障排查实录4.1 日常巡检命令和关键指标集群建好后不是一劳永逸日常巡检得养成习惯。我最常用的几条命令# 查看集群运行状态 display css status # 查看集群卡链路状态 display css card status # 查看集群历史状态变化 display css history # 查看系统日志中集群相关记录 display logbuffer | include CSS巡检时特别注意两个指标集群链路是否冗余、主备切换次数。如果集群链路只剩一根在跑一旦这根也断了集群就会分裂双机变成两台单机业务中断风险极大。所以每次巡检看到集群卡端口up数量少于规划值就要立即排查处理。另外可以配置告警联动让网管或Zabbix这类监控系统实时抓取集群链路变化。用SNMP协议监控hwCssPortStatus等OID节点一旦集群端口down第一时间告警到值班群。这个习惯能帮你把故障发现时间从“用户报障”提前到“自己发现”。4.2 集群版本升级的正确“姿势”集群版本的升级是个高风险的实操场景这里多说几句。升级前不管你是用FTP、SFTP还是U盘加载先把系统软件包上传到主设备和备设备的存储介质中。然后将备设备先升级再主备倒换最后升级原主设备。流程可以这样记上传新版本软件包到两台设备。修改启动系统软件为版本文件。重启备设备确认备设备升级成功并重新加入集群。手动执行主备倒换让原备设备成为主。重启原主设备现在变成了备升级它。确认两台设备版本一致集群稳定运行。为什么要先升备因为备设备挂了影响面小业务还在主设备上跑。升级备成功后切到备等于让风险窗口转移到旧版本设备上这时候再升旧设备即使出问题还有已完成升级的新主设备顶着。这个顺序在我经手的项目中从来没出过差错强烈建议按这个顺序走。升级过程中最怕的是重启备设备后它无法重新加入集群。常见原因是配置的版本与主设备不一致或者集群域、ID配置被重置。所以升级后第一件事就是display css status确认两台设备又恢复成CSS模式了再继续。4.3 集群分裂是什么、怎么判断、怎么处理集群分裂是CSS最危险的故障模式。所谓分裂是指两台设备之间的集群链路全部中断但两台设备都还正常运行。由于CSS对外是一台逻辑设备分裂后两台设备都会认为自己是主继续使用同样的IP和MAC地址转发流量造成网络中的IP地址冲突和MAC漂移整个网络会乱成一团。判断分裂的方法很简单登录任意一台设备如果发现display css status显示为单机模式而另一台设备还能ping通那你大概率已经处于分裂状态。千万别犹豫立即断开其中一台的上行或下行业务口优先保住一台设备的转发然后再排查集群链路。根因通常是集群卡松动、线缆损坏、光模块故障或集群卡端口down。恢复步骤是修复集群链路物理状态然后设备会重新协商合并。如果合并不成功就手动重启备设备让它重新加入。4.4 常见问题和速查表格下面这张表是我在实际维护里总结的高频问题按现象、原因、解法整理好了遇到问题可以直接对着处理。故障现象常见原因处理思路配置完css id后优先级不生效未保存配置或未重启保存并重启设备后再验证两台设备版本不一致集群无法建立系统软件或补丁版本不一致统一版本后再组集群集群建立后主备频繁切换集群链路不稳定或优先级配置错误检查集群线缆、光模块核对优先级集群卡端口down线缆松动、模块损坏、灰尘污染重新插拔线缆清洁光口更换模块集群分裂后IP冲突集群链路中断且双主同时转发断开一侧业务口修复链路恢复合并升级时备设备无法加入集群版本不一致或集群配置重置升级到同一版本重新配置集群参数集群状态下无法配置业务口IP业务口被集群管理占用检查是否被CSS控制口占用改配其他口上面这些坑我基本都踩过一遍。最值得说的一条是无论什么操作先保存配置。组集群、拆集群、升版本之前都敲一下save把当前配置固化下来。有些问题看着玄乎其实就是没保存配置重启之后配置全丢导致的。4.5 拆集群操作流程有时候需要把集群拆回两台单机比如硬件返修、机房搬迁。拆集群比建集群更考验操作细节搞错了会把业务打挂。拆除前先确认业务流量路径是否已经切换到其他设备尤其是有M-LAG、Eth-Trunk的场景。然后执行集群降级命令将设备从CSS模式切换回单机模式。华为设备的集群降级命令通常是undo css enable或在系统视图中删除集群域配置。执行后设备会重启重启后两台设备各自为政成为独立设备。拆集群后要立即检查每台设备的配置是否完整。因为CSS模式下很多配置是全局统一的拆分后某些接口配置可能不会自动回到单机状态需要手工核对。我习惯在拆集群前用display current-configuration导出两台设备的完整配置拆完后再对比核对。一旦发现有遗漏马上补配别等到业务中断了才后悔。5. 集群卡方案之外的几条实用心得5.1 关于集群卡槽位和主控板卡的关系S7706的集群卡不是随便插的它跟主控板有着紧密的硬件关联。有些主控板本身有集群卡槽有些则需要主控板配合专用扣卡实现。现场如果条件允许建议通电前先摸清板卡布局甚至给设备拍个照存档方便后续更换板卡时快速定位。集群卡如果要扩容带宽可以在空闲槽位再加一张卡但集群线缆需要对称增加。扩容带宽时同样要保证两台设备的卡槽位置一致。偷偷告诉你一个经验加第二张集群卡前先查看一下display css card status确认新卡被系统识别后再接线省得插上去不识别还要排查槽位兼容性。5.2 集群和网管系统联动配置集群建成后建议同步在网管平台或告警系统里做一轮联调。至少要把以下指标纳入监控集群端口up/down状态、主备角色变化、系统CPU/内存、集群线缆带宽利用率。监控的意义在于很多集群故障是渐进式的比如集群链路质量变差、频繁闪断如果不监控根本不会有人注意到直到某一次彻底断掉引发大故障。在SNMP配置里可以打开告警开关system-view snmp-agent snmp-agent trap enable css这样集群状态变化就会主动通知到网管平台。有的单位还要求把主备切换事件发短信或推送到企业微信这就需要在网管平台上做触发器了属于平台侧的配置但交换机侧必须先打开Trap开关。5.3 对S7706后续演进的一点看法华为后来在更高端框式设备上推出了集群纵向虚拟化叠加的组网S7706虽然老但它作为数据中心或园区核心的定位依然稳固CSS集群卡方案也足够成熟。如果你手头已经有S7706并且正在纠结要不要做集群我的建议是趁早做。核心设备没有冗余就像大桥没有备用车道平时不出事一出事就是大事。CSS集群卡的配置虽然涉及不少前置检查但跟它换来的高可用性相比这些努力完全值得。如果后续业务量继续膨胀也可以考虑将S7706集群作为汇聚上面再挂更高端的核心形成两层架构。CSS集群内的设备升级、扩容都还算灵活配合华为的敏捷网络方案整个网络的演进路径也比较清晰。有条件的朋友可以多看看华为官方文档里关于S7706在园区核心场景的典型案例对照自己的组网做优化。6. 最后再分享一个小技巧快速定位主备关系很多人登录设备后第一件事就是猜自己登的是主还是备。这里有个实用小窍门在系统视图下配置用户界面提示符把设备角色直接显示在命令行提示符里。比如主设备的提示符改成S7706-Master备设备改成S7706-Standby这样登录后一眼就知道当前在哪台设备上。system-view sysname S7706-Master当然如果两台设备的sysname配置成一样就分不清了。所以规划时我建议统一命名规则比如用机房名设备角色。例如BJ-Core-Master和BJ-Core-Standby。这种命名方式不仅方便日常操作出故障时跟同事沟通也少了很多歧义。CSS集群卡方案的实操就先讲到这里。真心建议各位在做S7706集群的时候把硬件检查放在第一位软件版本统一放在第二位其次才是敲配置命令。这三步的顺序一旦颠倒后续的麻烦会成倍放大。祝各位割接顺利网络稳如老狗。