够狠!某酒店挂了一堆盒子跑 PCDN ?把整网冲死了

背景介绍

某酒店网络使用联通800M专线,晚上客户入住后出现流量拉满,客人反馈网络卡顿无法使用,路由器看到CPU一直90%的异常问题。

酒店IT查看了路由接口速率,发现上行已经被跑满了:

这是什么?这不是经典的PCDN吗?有人在用酒店网络刷钱???

网络拓扑

典型的三层网络如下:

排查分析

第一步:确认整体流量来源

通过查看路由器接口实时速率统计,发现GE1宽带口的上行基本打满,且数据的来源都是来自内网核心三层交换机。

第二步:明确异常终端

打开路由器的IP流量统计功能,查看内网终端发送大量流量的IP地址是哪些,发包流量平均30-60Mbps,发包速率2000-6000PPS。

第三步:抓包确认该终端行为

持续抓取核心上来传给路由器的报文:

从报文分析发现不同的设备持续向外网一些公网IP发送UDP包,且这个包的字节都是1300以上的数据,和路由器的统计数据吻合。

最终找到这些设备是电视盒子:

原理及解决方案

问题原因:内网一堆电视盒子疯狂跑上行流,发包速率高达6000pps(每秒6000个)。冲死了路由的CPU和带宽。

解决方案:

路由器对这些IP做限速;交换机对这些IP做限速;

本质解决办法是由电视厂家更新系统解决电视疯狂发包的行为。

THE END