【YD通讯标准】 基于分离架构的深度包检测系统技术要求数据综合分析平台

ICS33.040.40
中华人民共和国通信行业标准
YD/T2933-2015
基于分离架构的深度包检测系统技术要求数据综合分析平台
TechnicalrequirementsfordeeppacketinspectionsystembasedorseparationarchitectureComprehensiveanalysisplatform2015-07-14发布
2015-10-01实施
中华人民共和国工业和信息化部发布1
范围·
规范性引用文件：
术语、定义和缩略语
3.1术语和定义
3.2缩略语
4基于分离架构的深度包检测系统架构·数据综合分析平台概述·
数据综合分析平台的功能定位·5.1
5.2数据综合分析平台的接口…·源数据获取功能.
6.1AAA系统用户数据获取
6.2DPI设备源数据获取
7源数据和分析数据存储
源数据分析和输出·
源数据分析方法
分析数据查询操作方式
各功能模块的分析结果和输出要求·8.3
第三方系统输出·
基于应用、用户和安全信息管理·9
策略的管理和同步
基于应用的管理…
9.3基于用户的管理
9.4基于安全信息的管理·
针对智能镜像的策略
数据综合分析平台管理功能要求11.1
参考文献
数据综合分析平台管理：
DPI设备管理
YD/T2933-2015
YD/T2933-2015
本标准是基于分离架构的深度包检测系统技术要求系列标准之一。与YD/T2932·《基于分离架构的深度包检测系统技术要求接口功能》和YD/T2931《基于分离架构的深度包检测系统技术要求独立式流量采集设备》共同构成基于分离架构的深度包检测系统的标准体系。本标准按照GB/T1.1-2009给出的规则起草。请注意本文件的某些内容可能涉及专利。本文件的发布机构不承担识别这些专利的责任。本标准由中国通信标准化协会提出并归口。本标准起草单位：中国电信集团公司、华为技术有限公司、中兴通讯股份有限公司、华三通信技术有限公司。
本标准主要起草人：徐向辉、杨锋、王茜、张文强。II
1范围
基于分离架构的深度包检测系统技术要求数据综合分析平台
YD/T2933-2015
本标准规定在DPI系统的前端采集设备和后端数据分析平台松耦合的架构下，后端DPI数据综合分析平台的架构和总体要求、软件功能要求、性能要求、管理性要求、与前端采集设备的对接要求等。本标准适用于固网宽带DPI系统的数据分析及应用支持，未纳入移动网DPI系统数据分析的要求。2规范性引用文件
下列文件对于本文件的应用是必不可少的。凡是注日期的引用文件，仅所注日期的版本适用于本文件。凡是不注日期的引用文件，其最新版本（包括所有的修改单）适用于本文件。YD/T2932基于分离架构的深度包检测系统技术要求接口功能3术语、定义和缩略语
3.1术语和定义
下列术语和定义适用于本文件。3.1.1
深度包检测DeepPacketInspection一种基于数据包的应用层流量检测和控制技术，针对数据包的不同层信息（如IP地址、应用层端口、应用层协议、净荷内容等）进行深度检测和分析，从而得到整个数据流或数据包的应用层信息，然后按照系统定义的策略对流量进行统计分析和控制。3.1.2
深度包检测设备DeepPacketInspectionDevice具备业务数据流识别、业务数据流控制能力，主要工作在OSI模型传输层到应用层，具备高数据流处理能力，能够对网络所承载的业务进行识别和流量管理的，可部署在网络骨干层、城域网和企业内部的网络设备。
源数据SourceData
由DPI系统的前置采集DPI设备通过流量采集、应用协议识别、流量统计、实时分析等功能，按接口规范要求提供给数据综合分析平台的基于应用和用户的原始统计信息、基于应用的流信息等。3.1.4
分析数据AnalysisofData
数据综合分析平台在源数据的基础上，针对时间、区域、用户、应用等多维度的关联分析获得的过程数据。
1拖N用户MultiuserUnderOneSubscriberAccount采用同一上网账号，同时使用N个上网终端的用户。YD/T2933-2015
非法路由用户Ilegal UserViaBogusRoute虚拟运营商或小运营商将访问主流运营商网络的上行流量通过非互联互通口的其他方式接入，而下行流量仍通过与主流运营商的互联互通口返回到虚拟运营商或小运营商网络中的非法接入的用户。3.2缩略语
下列缩略语适用于本文件。
Authentication Authorization AccountingBroadband Remote Access ServerDeepPacketInspection
DistributedDenialof Service
Peer-to-Peer
Service Router
Voiceof IP
基于分离架构的深度包检测系统架构4
认证、授权和计费
宽带远程接入服务器
深度包检测
分布式拒绝服务攻击下载标准就来标准下载网
点对点通信
业务路由器
IP电话
固网宽带DPI系统基于深度包检测技术，通过对宽带网络不同层面的互联网流量的深度检测和分析，提供针对用户、应用和网络的指定颗粒度的综合分析能力。原有深度包检测（DPI）系统是同厂家封闭式架构，从前端流量采集、解析到后台数据分析、策略管理均为内部实现，各厂家DPI系统架构和接口各不相同。基于分离架构的DPI系统是将DPI系统的前端采集设备和后端数据综分分析平台松耦合，实现异厂家对接，使不同的DPI设备数据能够在统一平台上共享。基于分离架构的DPI系统架构包括DPI设备和数据综合分析平台两大部分，如图1所示。其他应用系统
数据综合分析平台
IDPIu接口
分析中
分析管理功能
采集功能
串/并接流量
网络设备
AAA系统
图1基于分离架构的DPI系统结构其中：
DPI设备是DPI系统的前置组成部分，可采用串接或并接方式部署在网络中，能够根据预先配置的原则，对网络流量和应用协议进行深度检测和实时分析的设备，识别后数据提供给数据综合分析平台，支持用户、应用等多维度的识别和分析。2
YD/T2933-2015
一数据综合分析平台从DPI设备获取并存储经过采集分析的源数据，按照预定的功能模块完成相关的分析、统计和展示。
一DPI系统需要与网管系统对接，实现对DPI设备的管理：与AAA系统对接，获取用户账号与IP地址的对应关系：与其他第三方系统对接，按需输出数据。5数据综合分析平台概述
5.1数据综合分析平台的功能定位数据综合分析平台是固网宽带DPI系统的后台部分。如图1所示，数据综合分析平台从DPI设备获取并存储经过采集分析的源数据，按照预定的功能模块完成全应用分析、用户行为分析、安全信息分析，提供基于应用的统计结果、基于用户的应用偏好、以及重点针对VoIP应用流量、P2P应用流量、1拖N用户检测、非法路由用户检测结果的展示和报表输出。数据综合分析平台可基于管理配置界面接受针对用户和针对应用的管理策略，并向DPI设备下发所监控链路的上的VoIP应用、P2P应用、URL访问、1拖N用户、非法路由用户的管理策略。可根据需求灵活增加与用户和应用流量分析相关的模块：并提供与其他应用系统的数据输出接口。
数据综合分析平台支持针对应用、用户的集中数据的综合分析，从功能模块角度可以分为全应用分析和管理、用户行为分析和管理、安全检测信息分析等，并可提供多种查询维度下的结果展示和报表输出。数据综合分析平台与AAA系统进行信息交互，可以获得用户账号和应用属性、用户上下线信息，以支持基于用户的访问偏好深度分析。数据综合分析平台按照功能模块化设计，可支持软件模块的灵活增加，对于单个软件模块的升级不应影响其他软件模块的正常运行。本标准制定的是数据综合分析平台的基本功能要求，对于特定需求的功能，可按功能模块进行扩展。5.2数据综合分析平台的接口
5.2.1U接口
U接口是数据综合分析平台与DPI设备之间间的接口，通过此接口DPI设备向数据综合分析平台传送应用识别结果、应用流信息、用户信息、流量信息等，数据综合分析平台向DPI设备下发配置策略、控制策略、管理策略、外部接收的AAA信息等。具体接口描述见YD/T2932。5.2.2数据综合分析平台与AAA系统间的接口该接口主要用来在数据综合分析平台和AAA系统间传递用户账号、用户应用订购等静态信息，以及传递用户上下线的宽带账号和IP地址对应关系等动态Radius信息。该接口为可选接口，DPI设备所需要的AAA信息也可以通过Radius镜像或抄送等方式由DPI设备获取后传递给数据综合分析平台。5.2.3数据综合分析平台与其他应用系统之间的接口该接口主要用于数据综合分析平台按需向其他第三方应用统一提供数据。6源数据获取功能
6.1AAA系统用户数据获取
6.1.1用户数据获取
应支持获取基于用户账号的属性信息，包括用户账号、用户订购的接入带宽信息、用户实时计费信息。
YD/T2933-2015
应支持实时获取用户上下线信息，包括用户账号、上线时间（下线时间）用户IP地址、接入设备IP地址、接入设备端口。
应支持静态用户信息的获取，包括用户ID、静态地址/地址段、带宽、所属BRAS/SR等信息。提供录入功能，并支持文本导入。
6.1.2用户分组管理
应支持用户分组管理，用户组可基于多维度属性进行配置，包括：a）归属的区域（全省、城域网、城域网内BRAS管理区域）：b）用户接入类型（静态专线用户、宽带拨号用户）：c）用户接入带宽：
d）用户宽带账号（@domain）：e）用户地址段，支持多个用户地址条目设置，支持地址检查和自动合并；f）DPI设备端口/监控的网络链路。应支持按照用户组进行全应用分析和管理、用户分析和管理。应支持向DPI设备下发用户组配置策略。
默认将全局用户作为一个用户组，并支持基于全局用户组的统计。应支持灵活的按用户组进行过滤，分析和查询，方便管理员进行管理。6.1.3用户数据下发
支持将AAA系统获取的用户上下线信息实时下发给所有DPI设备。在下发用户上线信息时，同步下发用户相关的需绑定的管理策略支持DPI设备反查用户账号信息，当DPI设备发送用户IP地址时，可根据备份的AAA用户数据反馈用户账号给DPI设备。
6.2DPI设备源数据获取
应支持通过U接口从DPI设备获取两种类型的感知数据信息，即基于功能模块的统计数据、基于协议识别的流关键字段数据。应支持基于IPv4和IPv6网络环境的数据获取。数据传送要求见YD/T29326.2.1基于全应用分析功能的源数据应支持下发流量分析结果上报需求的策略，包括上报起止时间、上报周期、上报服务器地址、服务器端口等。
应支持获取针对全应用分析的统计数据，包括按照上报周期和指定用户组提供的应用（大类）和子应用（小类）的流量统计和访问次数/用户数量等数据。应支持管理上表中的应用分类和统一应用名称，当有应用类型调整或创建一个新的应用分类时，可以针对现有的各子应用灵活调整，并支持向DPI设备定期下发更新的应用分类表文件。应支持向DPI设备下发访问指定应用类型的用户统计策略，获取在设置时间段内访问该指定应用的所有用户账号，用于目标应用的使用情况分析和目标客户的挖掘。6.2.2基于用户行为分析功能的源数据应支持获取用户偏好分析数据，包括用户访问的URL分类、URL分类点击次数、搜索关键字的访问次数。对用户搜索关键字需上报的阐值可通过数据综合分析平台下发策略进行配置。4
YD/T2933-2015
应支持获取非法路由用户的分析信息，包括用户接入点地址、非法接入IP地址数量、归属运营商、流入流出流量等。
应支持获取一拖N用户的分析结果信息，包括用户账号、用户IP地址、一拖N主机数量等。宜支持获取一拖N用户所需的分析信息，以支持基于相关分析信息进行一拖N的后台检测应支持获取Web信息推送结果信息，包括推送成功的信息推送URL信息，被插入信息的URL信息等，以支持后台对Web推送结果的统计。6.2.3基于应用安全监测功能的源数据应支持获取安全检测流量统计数据，包括应用DDoS攻击的攻击对象（IP地址）、攻击类型、攻击时间、攻击流量、攻击源所在区域等信息。6.2.4基于流记录的分析数据
应支持获取对特定协议应用流量的指定格式的记录数据，特定协议包括HTTP、RTSP、VoIP、FTP、SMTP、PoP3、IMAP、DNS等应用流记录。7源数据和分析数据存储
应设置分布式数据存储中心，统一存储数据综合分析平台的各类系统数据、应用和用户原始数据，分析过程数据等，应支持对原始数据的数据清洗和分类存储。应支持对海量数据的存储，基于功能模块的统计信息的存储：基于流的记录信息的存储；支持各类功能模块的统计报表存储。存储时间根据运营商要求支持1个月至1年。应支持AAA系统获取的用户上下线信息的双机热备，避免在存储系统故障时无法重新获取在线用户信息。
存储系统应支持PB级的存储容量，支持上亿级别流记录的秒级存取，支持每天千万级别的流数据更新，支持多维度查询和全文检索。应支持数据的元余存储和备份，系统数据库容量与性能支持在线扩展，能自动故障探测和管理，支持PB级数据库。支持高效的数据压缩机制，对于基于流的记录信息要求具有更高的数据压缩比。系统所产生的各类数据，包括但不限于配置数据、统计数据、审计日志等应支持加密存储。8源数据分析和输出
8.1源数据分析方法
应支持以下数据分析方法：
a）趋势分析：支持根据存储的历史数据，从时间序列分析某一指标随时间的变化趋势，找出其规律，然后估算指标在未来某一时间预测值的方法。可以用折线图来表示指标变化或发展的趋势。b）排名分析：支持从数据中找出按用户访问次数、用户使用流量、用户数等分类方法的TopN的数据，这些数据代表了用户关注的程度。c）对比分析：支持对相同指标按照不同时间、不同用户组、不同区域的结果进行比较，得出差异，并可进一步分析差异原因。支持横向对比和纵向对比，横向对比是将同一时间下不同分类的数据进行比较，纵向对比是将同一分类中不同时间的数据进行比较d）多数据源关联分析：支持对多数据源的统一关联分析，包括支持用户分类、网络区域、应用分类等多维度的关联分析，形成综合和完整的分析视图。5
YD/T2933-2015
8.2分析数据查询操作方式
应支持以下数据查询方式
a）钻取操作：支持后台维护管理用户快速查询不同维度的分析数据，以不同于原有表格或图表的级别来浏览分析数据。在同一个维度上，支持从某个层次上钻到更高的层次（如从城域网钻取到全省），或下钻到更低的层次（如从城域网钻取到城域网分区域）。支持在不同维度上的跨维度钻取（如从城域网的用户组钻取到城域网区域的用户组）。b）旋转操作：支持改变在行或列的对象的相对顺序。把对象从行转移到列，或是从列转移到行。数据旋转可以在一张报表中重新安排列和行，这样达到可以从不同的角度观察数据。c）排序操作：支持对分析数据的简单排序和复杂排序，要求能够对报表中一个特殊的行或列的数据进行排序处理：升序或降序。支持选择一行或一列的数据以顺序或倒序的方式进行排序。d）图表切换操作：支持图表查看方式的切换，后台用户可以将报表转换成图形格式查看，也可以将图形转换为表格查看，同时支持图表结合查看，支持图形间的切换。8.3各功能模块的分析结果和输出要求各功能模块的输出结果应满足如下通用要求：a）分析维度应包含地域维度、用户/用户组维度、时间维度b）通过灵活选取维度及指标字段可以快速生成分析报表，通过直方图、饼图、曲线图等形式反映报表应能够直接生成Word、Excel或PDF文件。c）支持交互式分析，呈现的分析数据可以灵活进行钻取、旋转、排序、图表切换等操作，可定义分析结果图形及报表的对比分析方式。d）支持基于设置的指标数据和多维度分析。各功能模块的输出结果由于分析对象不同而不同：a）全业务分析基本功能支持按照应用名称分类表进行统计和分析结果输出。主要分析结果包括应用（大类）和子应用（小类）的流量统计、Web应用的站点访问次数、VoIP应用网关数/话务量/通话时长、其他应用访问的用户连接数。对于有自定义类别统计需求的，支持基于DPI设备上报的子应用类型，按照自定义的类别进行统计和输出，如社交网络类、证券类、网银类等。b）用户偏好分析的主要分析结果包括：用户ToPN访问的URL分类和URL站点、URL点击次数、用户查询关键词及关键词查询次数。c）非法路由用户分析的主要分析结果包括：非法路由接入点的位置、所接入的非法用户IP地址、接入点产生的流量。
d）1拖N用户分析的主要分析结果包括：超过1拖N门限的用户账号、用户IP地址、1拖N主机数。e）安全检测信息分析的主要分析结果包括：被攻击对象（IP地址）、攻击类型、攻击时间、攻击流量、攻击源所在区域。
f）基于流信息的分析的主要分析结果包括：指定协议类型（HTTP/RTSP/VoIP/MMS/FTP/SMTP/PoP3/IMAP/IM/GAME/DNS）的特定字段信息。8.4第三方系统输出
应支持文件接口（SFTP接口）和实时消息接口（WebService方式接口）输出统计分析数据给其他分析系统或第三方应用系统。
小提示：此标准内容仅展示完整标准里的部分截取内容，若需要完整标准请到上方自行免费下载完整标准文档。