【YD通讯标准】 IP 网络流量采集设备技术要求

通信标准类技术报告
YDB075—2012
IP网络流量采集设备技术要求
Technical requirement of IP network flow sample and analysis device2012-03-25印发
中国通信标准化协会
1范围
2规范性引用文件
3缩略语...
IP网络流量采集设备概述
IP网络流量采集协议
IP网络流量采集设备功能要求
流量采集协议要求
流量采集机
6.2流量采集数据的预处理与转发6.3流量监测
6.4对网管协议的支持
7IP网络流量采集设备功能要求
流量分析功能要求
原始数据的过滤功能
实时监测
基于BGP路由对流量分析
全网关联性流量分析
8管理功能
系统性能监测
用户及权限管理
数据管理
数据呈现
流量分析机
9IP网络流量采集设备性能及可靠性要求10IP网络流量采集设备安全要求11IP网络流量采集设备环境及供电要求11.1环境要求
11.2电源与接地
11.2.1电源
11.2.2接地要求
附录A（资料性附录）
网络流量采集技术
YDB0752012
YDB0752012
本技术报告根据目前主流IP网络流量采集设备功能，以及运营商对此类设备的主要应用场景及功能需求编写。
为适应信息通信业发展对通信标准文件的需要，在工业和信息化部统一安排下，对于技术尚在发展中，又需要有相应的标准性文件引导其发展的领域，由中国通信标准化协会组织制定“通信标准类技术报告”，推荐有关方面参考采用。有关对本技术报告的建议和意见，向中国通信标准化协会反映本技术报告的附录A是资料性附录。本技术报告由中国通信标准化协会提出并归口。本技术报告起草单位：工业和信息化部电信研究院、华为技术有限公司。本技术报告主要起草人：高巍、马军锋、马科、唐浩、杨华儒。I
iiKANiKAca
1范围
IP网络流量采集设备技术要求
YDB075—2012
本技术报告规定了IP网络流量采集设备的功能、性能、稳定性、安全、环境等方面的技术要求。本技术报告适用于IP网络流量采集设备。2规范性引用文件
下列文件对于本文件的应用是必不可少的。凡是注日期的引用文件，仅所注日期的版本适用于本文件。凡是不注日期的引用文件，其最新版本（包括所有的修改单）适用于本文件。GB/T2423电工电子产品环境试验GB/T3482电子设备雷击试验方法3缩略语
下列缩略语适用于本技术报告。AS
Acronyms System
Border Gateway Protocol
Hyper Text Transfer ProtocolHyper Text Transfer Protocol SecureInternet Protocol
IPFlowInformation Export
Multi-Protocol Label SwithingMean Time Between Failures
Simple Network Management ProtocolSecure Shell
Transport Control Protocol
Type of Service
User Data Protocol
eXtensible Markup Language
4IP网络流量采集设备概述
自治系统
边界网关协议
超文本传输协议
超文本传输安全协议
网际协议
IP流信息导出
多协议标签交换
平均故障间隔
简单网管协议
安全套接层
传输控制协议
服务类型
用户数据报协议
可扩展标记语言
随着互联网的发展，网络管理者越来越需要对网络流量的分布进行充分的了解，一般的SNMP技术只能做到对单个网元设备上接口级别流量的统计，无法满足网络端到端流量统计、业务统计，以及一些异常流量发现的需要。根据这些需求，流量采集技术应运而生流量采集技术是基于路由器设备上硬件转发方式的革新而产生的。目前的核心路由器、交换机都采用硬件转发的方式，对数据进行逐流转发，需要根据数据流量的特征定义需转发的“流”（f1oW），并1
HiiKAoNiKAca
YDB075—2012
建立硬件转发表项，为每条流定义转发策略，当数据流到来时，根据它的特征匹配硬件转发表中不同的“流”来进行转发。通常定义的“流”特征包括入接口、源/目的IP地址、协议类型、源/目的端口号、TOS值等。流量采集技术就是利用了硬件转发中这些流的信息，对不同的“流”信息进行统计，包括时间戳截、报文数、学节数等。
由于路由器转发能力不断提高，如果对转发的每个数据包都进行统计，将浪费大量的计算资源，也会影响路由器的转发能力，因此目前应用的流量采集技术都实现了采样的方式对流量进行统计。但采样所耗费的路由器资源与采样的准确度是一对矛盾的关系，采样比越低，采样准确率越高（当采样比为1：1时准确率为100%），但耗费的路由器计算资源越多：反之，采样比越高，采样准确率越低，消耗的路由器资源则越少。合理的确定采样比，就是在采样准确性与路由器资源的消耗二者之间寻求平衡。一般网络中设置的采样比可以为1000：1或2000：1，即每隔1000个或2000个报文对数据流进行一次采样。进行流量采集的流量采集系统一般包括流量采集机及流量分析机两个部分，如图1所示。流量采集机负责对路由器上送的f1ow记录报文进行收集和预处理：流量分析机负责对流量采集机所生成的预处理数据进行分析，根据不同的统计方式生成有意义的统计结果。分析机
原始数据
采集机，木
流信息
采集限
流信息
流信息
踏由器
路由器
路由器
IP网络流量采集协议
IPFIX要达到以下目标：
路由器
踏庄器
定义“标准IP流”的概念。类似的定义在实践中已经广为应用，IPFIX所要做的就是把它们a)
标准化：
在分组采样的基础上考虑IP流信息的概念：c
考虑影响到流数据的安全和隐私问题，为输出的流数据选择安全的传送；d)
规定将IP流信息在传输层上的传送方式：保证流输出系统的可靠性。
注1：最初的流量采集技术是在1996年由思科公司发明的，并申请了专利。随着路由器设备设计水平的整体进步，以及网络管理者对流量统计的需求越来越道切，其它厂家也开始发展自己的流量采集技术，目前思科、Juniper、华为等厂家都拥有自己的流量采集技术，由于专利限制，这些采集技术虽然实现方式大同小异，但在数据格式等细节方面各有不同。在附录A中介绍了几种流量采集技术注2：由于各厂商的流量采集技术相互之间不能兼容，无法满足大规模异构网络中应用的需要，因此需要对流量采集技术从协议层面上进行统一。出于这一考虑，IETF成立了IPFIX工作组，并基于思科公司的Netf1oWv9制定了IPFIX协议，目前已经发布了“IPFIX需求”（IETFRFC3917）、“IPFIX信息模型”（IETFRFC5102）“IPFIX结构”（IETFRFC5470）等多个RFC。2
HiiKAoNiKAca
6IP网络流量采集设备功能要求一一流量采集机6.1流量采集协议要求
YDB0752012
IP网络流量采集设备在实现上应不限于某种特定流量采集协议，一般来说，由于现网设备的多样性，IP网络流量采集设备应兼容各种流量采集协议，包括Netflow（v5，v9），NetStream（v5，v9）、Cflowd、SF1oW等，并支持对各种流量采集协议数据进行同时接收处理IP网络流量采集设备应能够识别流量采集协议报文中的流量信息，这些流量信息包括：一一入/出接口号：
一流字节数；
一一流总包数；
一一协议类型；
——TOS值：
TCPflag
一一IPv4/IPv6源、目的地址/端口号：一一IPv4/IPv6源、目的地址掩码：——IPv6流标签；
——IPv4/IPv6下—跳：
源、目的AS：
一一BGP下一跳：
一一MPLS标签；
一一采样间隔。
IP网络流量采集设备应支持对采集流输出设备的IP地址，流量数据接收端口号等进行设定6.2流量采集数据的预处理与转发IP网络流量采集设备应对接收到的流记录进行预处理，生成预处理数据，并定期发送至流量分析机。IP网络流量采集设备应支持对流数据的采样功能。IP网络流量采集设备应支持对接收到的流记录进行转发，将原始流记录转发（或按一定抽样比例）至流量分析机或其他流量采集机。6.3流量监测
由于在不同路由器上可能设置不同的采样率，IP网络流量采集设备应该能够根据每台路由设备不同的采样率对从该设备采集的数据进行还原，以得到正确的统计结果。6.4对网管协议的支持
IP网络流量采集设备应支持通过网管系统对其故障、性能、日志、告警、安全等各个方面进行监测。流量采集机应支持SNMPv2，可选支持SNMPv3。SNMP应使用UDP/IP作为传输层/网络层协议，也可以使用其它协议（例如IETFRFC1418和IETFRFC1089中规定的）。
7IP网络流量采集设备功能要求一一流量分析机7.1流量分析功能要求
HiiKAoNiKAca
YDB0752012
流量分析机应可以依据流量来源和目的的AS号、IP地址段、应用协议、网络设备接口和Community等监控参数来设定监控范围。流量分析系统应支持TOPN排名分析，可根据N值灵活进行排名。根据流量采集机提供的数据，流量分析机应实现以下流量分析功能：a）网络流量流向分析：根据流量的源、目的IP地址，以及源、目的AS号，结合流量统计数据，实现对网络中某个设备，以及全网的流量、流向（网络内部流量、出网流量、穿越流量、骨干流量等）的统计；
网络业务流量分析：根据流量的端口号，对常见网络业务流量、流向进行分析。如统计HTTP、b)
SNMP、TELNET、FTP等常用协议的流量以及占总流量的比例：基于用户的流量分析：以某一地址/多个地址、某一端口/多个端口、某一Community/多个c)
Community或某一自治域号（AS）／多个自治域号（AS组）为分析对象，分析该地址组、端口组、Community组或AS组代表的客户的流量行为状况，如链路带宽占用情况，该用户访问其它地址/AS的情况，访问该用户的地址/AS分布情况，该用户流量的协议、业务分布状况等：d)
异常流量分析：流量分析机应能够根据设定的条件（如病毒或网络攻击的流量特征）对流量进行实时监测，当出现异常流量时，对病毒或攻击的来源，自的、攻击的类型、攻击的规模、持续的时间等进行分析呈现，并支持多种方式告警7.2原始数据的过滤功能
流量分析机应可以根据需要依据设定的条件对接收到的原始数据进行过滤处理。如利用OR、NOT、AND等逻辑运算或其组合对原始数据进行过滤或二次处理，并根据结果形成各种报表或表格。7.3实时监测
流量分析机应可以实时的呈现所设定的网络范围内瞬间的流量状况并生成相应的报表，其实时性依赖于设备对流数据的发送参数以及流量采集机对原始数据的发送参数设置。7.4基于BGP路由对流量分析
流量分析机可选支持BGP协议。通过与骨干路由器（或路由反射器）建立BGP邻居关系，流量分析机可以接收和分析BGP路由，并从路由表中获得BGPCommunity、AS_Path、BGPNextHop等信息，从而更加精确的分析流量的属性。
7.5全网关联性流量分析
流量分析机应能够将通过不同的采集机采集的多条链路上的同类流量数据进行合并汇总，从而实现对全网多节点关联的业务流量分析，实现多出口整体状况的关联性分析。如对全部出入口流量进行统汇总和分析；对网内某些热点资源与其他网络间的流量进行统计分析，等。流量分析机应能够将所有采集设备采集的数据进行统一的汇总、处理和关联分析，并将汇总的结果通过统一的界面展现给用户。
8管理功能
8.1系统性能监测
IP网络流量采集设备应提供对自身性能的实时监测。系统性能监测包括：设备使用状态，CPU使用率，内存使用率，数据库使用率等。8.2用户及权限管理
iiiKAoNikAca
YDB075—2012
IP网络流量采集设备应能够支持分级分权管理功能，支持用户根据需要进行自定义的授权，开放相应的权限与功能。系统管理权限应与用户管理权限分离。8.3数据管理
流量分析机应能够实现历史分析结果的在线保存，保存期限可由用户设定，同时支持过期数据自动删除功能。
流量采集机和分析机应支持系统配置的备份和读取。8.4数据呈现
流量采集设备应能够通过图、表等方式对实时和历史数据进行呈现，并提供天/月/周/年的分析结果统计报表，并支持以XML/EXCEL等可再编辑处理的通用格式对分析结果进行输出存储，并能够提供报表的定制功能。
9IP网络流量采集设备性能及可靠性要求IP网络流量采集设备的性能根据整个系统每秒可同时处理的流（f1ow）数来进行统计，在正常处理能力下，系统设备平均CPU和内存负荷应低于65%系统平均无故障运行时间（MTBF)应大于100000h。10IP网络流量采集设备安全要求IP网络流量采集设备的远程接入应通过HTTPS和SSH实现，支持通过带IP访问控制的HTTPS来确保远程web接入的安全性。系统还应该支持客户自定义HTTPS的访问端口。系统具备安全日志功能，可完整地记录用户的重要操作、访问信息系统设备应提供数据备份手段，定期对各种重要数据进行备份，并具备恢复能力。11IP网络流量采集设备环境及供电要求11.1环境要求
IP网络流量采集设备正常工作的温度、湿度条件应符合GB/T2423的相关规定。IP网络流量采集设备工作环境的防尘要求应符合GB2423的相关规定。IP网络流量采集设备产生的电磁干扰应符合GB2423的相关规定。IP网络流量采集设备的抗电磁干扰能力应符合GB2423的相关规定IP网络流量采集设备防雷击能力应当符合GB/T3482。11.2电源与接地
11.2.1电源
11.2.1.1直流电压及其波动范围要求额定电压：为一48V的直流电源。电压波动范围：在直流输入端子处测量-48V电压充许变动范围为-57V～一40V。IP网络流量采集设备在此范围内应工作正常。
iiKANiKAca
YDB075—2012
杂音电压指标
在直流配电盘输出端子处测量的限值如下：——300Hz～3400Hz杂音电压不大于2mV0～300Hz峰峰值杂音电压不大于400mV；—3.4kHz～150kHz宽带杂音电压不大于100mV有效值；——150kHz～30MHz宽带杂音电压不大于30mV有效值，11.2.1.3离散频率杂音电压
—3.4kHz～150kHz不大于5mV有效值；——150kHz～200kHz不大于3mV有效值；——200kHz～500kHz不大于2mV有效值；一—500kHz～2mHz不大于1mV有效值。11.2.1.4
交流电压及其波动范围要求
单相220V±10%，频率50Hz±5%，线电压波形畸变率小于5%。
11.2.2接地要求
接地方式应符合工作地、保护地和建筑防雷接地公用一组接地体的联合接地方式：a)
接地线截面积根据可能通过的最大电流负荷确定。应采用良导体导线，不能使用裸导线布放：b)
联合接地的电阻值应小于52。
iiiKAoNhiKAca
A.1 Netflow
附录A
（资料性附录）
网络流量采集技术
YDB075—2012
Netflow是思科公司的专利技术，也是最早出现的流量采集技术。目前主要使用的有v5、v9两个版本，图A.1是Netf1owv9版本的数据记录格式，其中包含了数据流的出/入接口、QoS位、协议类型、源/目的IP地址、源目的端口号等基本信息，还包括了下一跳地址，源/目的AS号等路由信息Header
FirstTemplateFlowSet
Template Record
First Record FlowSet
(lemplate ID256)
First Data Record
Second Data Record
Third Data Record
SecondTemplateFlowset
Template Record
TemplateRecord
Second RecordFiowset
(Template ID257)
Data Record
Data Record
DataRecord
Data Record
NetFlowVersion9Header:32bitsVersiong
Count=4(FlowSets)
SystemUptime
UNIx Seconds
Package Sequence
SourceID
TemplateFlowSet:16bits-
FlowSetID-0
Length=28bytes
Template ID=-256
FieldCount=5
IPV4_SRCADDR(0x0008)
Length=4
IPv4DSTADDR(Ox000C)
Length=4
IPv4_NEXT_HOP(0x000E)
Length=4
PKTS_32(0x0002)
Length=4
BYTES_32(0x0001)
Length = 4
DataFlowSet:32bits
Length=
FiowSet
ID-256
64bytes
192168.1.12
10.5.12.254
192.168.1.1
5344385免费标准下载网bzxz
192168.1.27
10.5.12.23
192.168.1.1
388934
792168.1.56
10.5.12.65
192.168.1.1
图A.1Netflowv9数据记录格式
Netflowv9的数据输出格式与V5有较大区别，主要是因为Netf1owv9采用了基于模板式的数据输出方式。网络设备在进行Netf1owv9格式的数据输出时会向采集机分别发送数据包模板和数据流纪录。数据包模板确定了后续发送的数据流纪录数据包的格式和长度，便于采集机对后续数据包的处理。同时为避免传输过程中出现丢包或错误，网络设备会定期重复发送数据包模板给采集机。NetStream
NetStream是华为公司推出的流量采集技术，其基本功能与Netflow类似，目前华为设备上通常支持的NetStream版本为V5和V9。Netstream支持二层报文、IP报文（TCP，UDP、ICMP报文）和MPLS报文的统计。
YDB0752012
sFlow（IETFRFC3176）主要在阿尔卡特、惠普、网捷（Foundry，现已被博科收购）等交换机设备中使用，是由硬件实现的数据采集协议，可以实现对数据包二层至七层各种信息的记录。A.4cflow
Cflow协议主要由Juniper、阿尔卡特等公司设备支持，其原理和机制与Netflow基本一致oo
小提示：此标准内容仅展示完整标准里的部分截取内容，若需要完整标准请到上方自行免费下载完整标准文档。