网络风暴处理一例

今天碰到一个网络故障，说网络有延迟，时断时通，拓扑如下：

到达现场后，发现华为7703交换机的所有接口灯都在快闪，怀疑肯定为数据风暴，用CONSOLE登陆7703交换机，使用dis inter 查看每个端口的流量情况，上图中红圈的三个接口流量如下：

GigabitEthernet1/0/25 current state : UP
Last 300 seconds input rate 7888 bits/sec, 8 packets/sec
Last 300 seconds output rate 4428376 bits/sec, 6406 packets/sec
Input peak rate 643674664 bits/sec, Record time: 2013-11-01 18:07:09
Output peak rate 117703648 bits/sec, Record time: 2013-12-27 15:15:31

GigabitEthernet1/0/26 current state : UP
Last 300 seconds input rate 1837472 bits/sec, 855 packets/sec
Last 300 seconds output rate 5313232 bits/sec, 7230 packets/sec
Input peak rate 150745696 bits/sec, Record time: 2013-12-26 12:38:59
Output peak rate 106835632 bits/sec, Record time: 2013-12-26 12:38:57

GigabitEthernet1/0/27 current state : UP
Last 300 seconds input rate 64968 bits/sec, 58 packets/sec
Last 300 seconds output rate 4690120 bits/sec, 6614 packets/sec
Input peak rate 103824952 bits/sec, Record time: 2013-12-20 13:34:27
Output peak rate 446716152 bits/sec, Record time: 2013-12-27 14:57:26

上图红字可看出，三个端口的output流量都在每秒6000左右个数据包。从我之前写的input与output的理解一文可得出，每秒在向接在这三个端口上的服务器发送6000左右的数据包。确定为数据风暴了。

立即查找风暴的源头在哪里，查看华为7703的上联口流量：

XGigabitEthernet2/0/3 current state : UP
Last 300 seconds input rate 8796448 bits/sec, 8459 packets/sec
Last 300 seconds output rate 324280 bits/sec, 331 packets/sec

果然，从上红色字可看出，上联华为9312交换机每秒向华为7703交换机发送8000多个数据包，源头肯定在上华9312交换机上。

在CONSOLE登陆至9312上，使用DIS INTER 查看每个端口的流量，终于发现有个端口流量异常，如下红字所示，9312上的8/0/36口正在每秒接收到来自上联的华为3700交换机20万多个包。致使整个网络瘫痪。

[Center_S9312_01]dis interface g8/0/36
GigabitEthernet8/0/36 current state : UP
Line protocol current state : UP
Last 300 seconds input rate 154218808 bits/sec, 204973 packets/sec
Last 300 seconds output rate 93448 bits/sec, 94 packets/sec
Input peak rate 187223368 bits/sec, Record time: 2013-12-31 11:51:13
Output peak rate 1508304800 bits/sec, Record time: 2013-12-12 10:32:28

立即将8/0/36端口的光纤拔掉，网络立即恢复正常。

至于3700交换机哪个口有问题，也可以用DIS INTER然后通过查看端口的流量来判断。