网络分流器｜网络分流器｜100Ｇ网络分流器

网络分流器｜网络分流器｜100Ｇ网络分流器

网络分流器 网络分流器是一种网络流量过滤采集设备，工作在第三、四层，专门用于互联网流量分析领域，是一种为降低后端分析而进行流量过滤、衰减、交换和分流的设备。目前已有的分流器包括千兆、万兆(POS、WAN、LAN)、40G(POS、LAN)、100G以太网、PON(EPON、GPON)、WIFI、3G和LTE等。 　　1.引言 　100G是现在将来一段时间内Internt互联及新服务和消费者及企业用户的完美解决方案。 　　2.挑战 　　未来一段时间，100G网络分流器将广泛应用于网络监控、信令分析、大数据分析、IDC防护、实时广告竞价等领域。然而，100G网络分流器不仅仅是链路带宽升级的问题，要解决在100G链路上执行流量分析，必须要解决下列挑战： 　　(1)设备的密度、体积和功耗：由于100G光传输的价格仍然比较昂贵，这类设备通常会部署在运营商的机房，而运营商机房的空间是有限的，通常需要层层审批。如果能够将设备的密度提高，体积和功耗降低，则有利于设备的部署和实施。 　　(2)设备的成本：100G链路的带宽是万兆链路的10倍。目前万兆分流器的价格已经比较便宜，但是在运营商的汇聚层部署10G设备，过多的链路割接会带来施工问题。在100G以太网上分光可以降低施工的难度，但是设备的本身的成本不能比10个万兆链路高太多，否则用户更趋向于使用万兆分流器。 　　(3)更精细的流量分类：100G链路所带来的高带宽使得后端分析服务器的压力剧增，传统的基于多元组的流量衰减方式已经无法满足要求。完美的解决方案是在分流器上执行DFI(深度流检测，是DPI的一种更具体的形式)，过滤掉不关心的协议报文和特定网站发出的报文。目前可以商用的DPI能力单板不超过40Gbps，以多元组和DPI相结合的流量过滤方式是必须要解决的技术难题。 　　(4)设备的稳定性：由于设备更多部署在运营商而非用户测，分流器的维护将比较困难，采用ATCA设备是一种有效的解决方案，同时进行更好稳定性设计，更严格的元器件选型以及老化实验才能确保设备的可靠性达到99.999%以上。 　　3.解决方案 　　100G网络分流器要充分考虑设备的密度、体积、功耗和成本，能够执行更精细的流量分类。可以采用下面的解决方案：100G线卡本身完成输入输出，执行多元组过滤，经过多元组过滤的流量部分输出，部分丢弃，需要进行深度检测的流量传送专用的DPI板卡进行深度流量检测。光接口采用的是商用的100GE的CFP或者CFP2光模块，实现100GE光信号到CAUI电接口的转换，通过使用不同光模块可以支持100GBASE-SR10、100GBASE-LR4和100GBASE-ER4等应用场合，光模块输出的是10路10Gbps的数据，再进行后续的处理。 　　网络分流器｜高速骨干网流量采集与分流实现方案 网络分流器｜网络分流器｜高速骨干网流量采集与分流实现方案 1 流量采集｜网络分流器 所谓流量采集，就是将网络流量通过物理层、数据链路层的信号解析和解帧，实现IP原始报文的获取。骨干网流量采集系统是一种对骨干网进行流量获取并分析的系统，主要应用于政府网络管理、运行商广告推送、运行商计费取证服务、运行商信令监控服务、园区网审计、公安网监、大数据分析等领域。 2 高速网络流量采集系统｜网络分流器 随着以太网技术和光纤通信技术的应用，骨干网带宽的增长及规模的扩大，大规模的网络流量采集面临着数据规模庞大和流量日益复杂的挑战，传统的基于软件的流量采集技术的性能已然无法满足要求。现有的高速骨干网流量采集方案主要分为三类：基于多核处理器的流量采集方案，基于交换芯片的流量采集方案，和基于FPGA的网络流量采集方案。 每种方案各有特色，下文将一一进行说明。 a) 基于多核处理器的戎腾高速网络流量采集系统 多核处理器能够提供强大的并行计算能力，应用于流量采集系统的主要型号有Broadcom的XLP、XLR、XLS，Cavium的CN6880、CN5880，以及Tilera的TILE-GX36等。采用此方案的系统可编程实现流量采集，还可对报文进行修改，具有非常高的灵活性。但系统CPU的处理能力有限，无法真正实现线速处理，整体性能不会很高，但是由于有处理器的参与，比较复杂的处理，如流表的管理、应用层协议识别、Radius上线与报文绑定等功能比较容易实现。 网络分流器｜戎腾高速骨干网流量采集与分流实现方案 网络分流器｜网络分流器｜高速骨干网流量采集与分流实现方案 图1 一种基于Cavium CN6880的流量采集器CDP2000 b) 基于交换芯片的高速网络流量采集系统 交换芯片的价格较便宜，且有成熟的套片解决方案可供参考。但其过滤功能非常弱，只支持非常简单的精确多元组过滤，无法做深度报文检测（DPI: Deep Package Inspection），且无法支持POS和WAN等以太网接口，这也使得基于交换芯片的流量采集方案在实际使用的范围受到限制。 c) 基于FPGA的高速网络流量采集系统 基于FPGA的解决方案目前较少，主要原因是FPGA芯片价格较贵，且需自行设计所有高速电路和过滤算法，技术门槛较高，需要深厚的研发能力。但其兼有多核系统的高灵活性和交换系统的高性能，优势也是非常明显的。 网络分流器｜高速骨干网流量采集与分流实现方案 网络分流器｜网络分流器｜高速骨干网流量采集与分流实现方案 图2 基于FPGA的100G戎腾网络流量采集系统HFC602 表1 三种流量采集方案的比较 　　　　　　　　　　　基于多核处理器　　基于交换芯片　　　基于FPGA 芯片价格　　　　　　　一般　　　　　　　　较低　　　　　　　较高 硬件设计难易度　　　　一般　　　　　　　　较容易　　　　　　较难 软件开发难易度　　　　一般　　　　　　　　较容易　　　　　　较难 常见网络接口的兼容性　　中　　　　　　　　低　　　　　　　　高 流量采集的灵活性　　　　高　　　　　　　　低　　　　　　　　一般 是否实现线速处理　　　　否　　　　　　　　否　　　　　　　　是 基于多核处理器+交换芯片的流量采集方案是目前应用为普遍的方案，虽然系统整体价格略贵，但软硬件发开难度不大，入门门槛较低。 但随着FPGA的发展，其内部资源日益丰富，特别是内部嵌入了大量IP核，在处理速率、逻辑容量等方面不断提升，基于FPGA的方案受到了越来越多的关注，国内外许多研究机构及公司先后推出了基于FPGA的网络流量采集系统。 图2所示是常见基于FPGA的流量采集系统的结构图，流量采集及预处理平台获取网络端口送来的网络数据包，并对数据包进行流量统计和分析，终根据流量分析的结果将网络数据包进行分流重新转发回网络中。系统采用硬件和软件协同实现设计思路，对于数据包的协议解析、数据预处理都由硬件电路实现；后端服务器进行流量的具体分析处理。通过预处理平台对流量进行分类归并和低负载数据传输，有效减少了后端服务器的工作量；服务器对预处理后的数据进行处理，可以有效降低流量处理过程的负载开销。 网络分流器｜网络分流器｜高速骨干网流量采集与分流实现方案 网络分流器｜高速骨干网流量采集与分流实现方案 3 小结