【通信行业标准(YD)】 宽带网络接入服务器内容过滤技术要求

ICS33.040.40
中华人民共和国通信行业标准
YD/T2055-2009
宽带网络接入服务器内容过滤技术要求Technical requirementsofcontentfilterbasedonbroadbandnetworkaccessserver2009-12-11发布
2010-01-01实施
中华人民共和国工业和信息化部发布前
范围·
规范性引用文件
3术语、定义和缩略语·
3.1术语和定义
3.2缩略语·
4功能概述
5过滤内容和手段
5.1问接内容过滤…
5.2直接内容过滤·
6内容过滤方式.
6.1名单方式
6.2特征匹配方式
6.3语义分析方式·
高级智能分析方式·
7协议和业务要求
8性能和技术指标
准确性
8.2通用指标+
8.3其他性能要求
附录A（规范性附录）内容识别和有效过滤的准确性指标YD/T2055-2009
本标准是“绿色上网”系列标准之一。该系列标准预计的结构及名称如下：1）基于移动终端的互联网内容过滤软件技术要求2）基于移动终端的互联网内容过滤软件测试方法3）宽带网络接入服务器内容过滤技术要求4）宽带网络接入服务器内容过滤测试方法5）WAP网关内容过滤技术要求
6）WAP网关内容过滤测试方法
7）基于PC终端的互联网内容过滤软件技术要求8）基于PC终端的互联网内容过滤软件测试方法9）网关型互联网内容过滤产品技术要求10）网关型互联网内容过滤产品测试方法本标准建议与《宽带网络接入服务器内容过滤测试方法》配套使用。本标准的附录A为规范性附录。
本标准由中国通信标准化协会提出并归口。本标准起草单位：工业和信息化部电信研究院本标准主要起草人：杨剑锋
YD/T2055-2009
1范围
宽带网络接入服务器内容过滤技术要求YD/T2055-2009
本标准规定了宽带网络接入服务器实现内容过滤相关功能的技术要求，包括功能概述、功能要求和性能要求等内容。
本标准适用于支持内容过滤功能的宽带网络接入服务器。本标准中出现的所有未指明的宽带网络接入服务器、设备等，均特指支持内容过滤功能的宽带网络接入服务器。2规范性引用文件
下列文件中的条款通过本标准的引用而成为本标准的条款。凡是注日期的引用文件，其随后所有的修改单（不包括勘误的内容）或修订版均不适用于本标准。然而，鼓励根据本标准达成协议的各方研究是否可使用这些文件的最新版本。凡是不注日期的引用文件，其最新版本适用于本标准。YD/T1132-2001
YD/T1148-2005
YD/T1691-2007
3术语、定义和缩略语
3.1术语和定义
防火墙设备技术要求
网络接入服务器技术要求宽带网络接入服务器具有内容交换功能的以太网交换机设备技术要求下列术语和定义适用于本标准。3.1.1
宽带网络接入服务器broadbandnetworkaccessserver，BNAS面向宽带网络应用的接入网关，它位于骨干网的边缘层，用以实现用户宽带业务网接入的功能。3.1.2
内容过滤contentfiltering
通过一定技术手段和方式实现对网络信息的网址、文本或图像等内容进行过滤和拦截，以禁止或限制用户对特定内容访问。
网址website
信息资源的网络位置标志，即相关资源的域名、URL和IP地址等。3.2缩略语
下列缩略语适用于本标准。
BroadbandNetworkAccessServerDomain Name System
Data Transfer Process
FileTransferProtocol
宽带网络接入服务器
域名系统
数据传输处理
文件传输协议
YD/T2055-2009
4功能概述
HyperTextTransmissionProtocolInternet Protocol
MultipurposeInternetMailExtensionsProtocol Interpreter
Qualityof Service
SimpleMailTransferProtocol
TransmissionControlProtocol
UserDatagramProtocol
UniformResourceLocator
超文本传输协议
互联网协议
多用途互联网邮件扩展
协议解释器
服务质量
简单邮件传送协议
传输控制协议
用户数据报协议
统一资源定位符
宽带网络接入服务器是一种能提供端到端宽带连接的网络接入设备，通常位于骨干网的边缘，作为用户接入网和骨干网之间的网关，终结或中继来自用户接入网的连接，提供接入到宽带核心业务网的服务。
宽带网络接入服务器的内容过滤功能，是指设备通过特定的方式对特定网络信息相关的网址、文本和图像等内容进行过滤，限制或禁止用户访问相应信息内容的能力。设备对网络信息内容进行过滤的结果可包括允许、修改后允许、不允许、记入日志、报警等。支持内容过滤功能的宽带网络接入服务器可采用旁路式（Bypass）或穿透式（Passthrough）的接入方式，可选择基于网关或基于代理的功能模型实现内容过滤的功能，相关内容本标准不作要求。宽带网络接入服务器实施内容过滤，根据信息内容和过滤手段的不同，通常可分为间接内容过滤和直接内容过滤两类。
1）间接内容过滤：通过网络信息和资源的级别访问权限控制、网址过滤等手段，以禁止或限制用户访问的形式（如网址过滤功能、内容分级过滤功能等）)：2）直接内容过滤：直接对各类网络信息内容进行过滤的形式（如文本过滤功能、图像过滤功能音/视频过滤功能等）。
相关过滤内容和手段见本标准第5章。对于不同类型的内容过滤手段，宽带网络接入服务器可单独或组合采用不同的方式进行信息内容过滤，内容过滤方式可包括但不限于：名单方式、特征匹配方式、语义分析方式和高级智能分析方式等，相关过滤方式见本标准第6章。
宽带网络接入服务器的内容过滤主要基于TCP、UDP协议的上层协议信息内容的识别和处理来实现。业务应用的协议可包括但不限于HTTP、FTP、SMTP、DNS等，相关协议和业务过滤要求见本标准第7章。
支持内容过滤功能的宽带网络接入服务器，可通过对设备基础功能（如访问控制等）和附加功能（如防火墙等）的扩展来辅助进行相关内容过滤功能的实施。例如，宽带网络接入服务器可支持基于应用层信息（如URL、HTTPmethod、Cookie等）的访问控制列表（相关要求见YD/T1691-2007），对数据报文进行深度内容检测和过滤；可支持应用层的防火墙功能（相关要求见YD/T1132-2001），通过应用代理维护应用层状态信息，实现对网络应用的访问控制。2
YD/T2055-2009
支持内容过滤功能的宽带网络接入服务器相关内容过滤功能的操作、维护和管理的要求元YD/T1148-2005。
5过滤内容和手段
5.1间接内容过滤
5.1.1网址过滤
宽带网络接入服务器应支持网址过滤功能，应能够对信息相关的网址（如域名、URL、IP地址等）的访问请求进行过滤和拦截。
宽带网络接入服务器网址过滤的实现方式可包括但不限于名单方式、特征匹配方式等。5.1.2内容分级过滤
宽带网络接入服务器宜支持内容分级过滤功能。网络内容的分级可由自主分级和第三方分级等方式实现。支持内容分级过滤功能的宽带网络接入服务器，应能根据网络内容中内嵌的相关分级标记、设备预置的分级/分类档案等信息对相应的网络内容按照特定等级、类别的访问许可和权限进行控制和过滤。宽带网络接入服务器内容分级过滤的实现方式可包括但不限于名单方式。5.2直接内容过滤
5.2.1文本过滤
宽带网络接入服务器可以支持文本过滤功能，支持文本过滤功能的宽带网络接入服务器应能过滤明文形式的信息内容，宜支持过滤伪明文形式（如Base64编码、压缩等）的信息内容。宽带网络接入服务器应能够对网络的文本信息内容进行识别和分析，将特定文本内容进行必要的过滤和拦截。
设备文本过滤的实现方式可包括但不限于名单方式、特征匹配方式、语义分析方式等。5.2.2图像过滤
宽带网络接入服务器可以支持图像过滤功能。支持图像过滤功能宽带网络接入服务器，应提供对网络图像信息内容进行识别、特征提取和分析的功能，可对特定图像相关内容和信息进行有效的过滤和拦截。设备图像过滤的实现方式可包括但不限于特征匹配方式、高级智能分析方式等。5.2.3音/视频过滤
宽带网络接入服务器可以支持音/视频过滤功能。支持音/视频过滤功能宽带网络接入服务器，应提供对网络音/视频相关多媒体信息内容进行识别、特征提取和分析的功能，可对特定音/视频相关内容和信息进行有效的过滤和拦截。设备音/视频过滤的实现方式可包括但不限于特征匹配方式、高级智能分析方式等。6内容过滤方式
6.1名单方式
宽带网络接入服务器应支持名单方式来对信息的相关内容（如，网址等）进行过滤。名单方式可包括但不限于黑名单、白名单、只允许名单列表等，且可通过多列表组合的方式来实现。3
YD/T2055-2009
1）黑名单：指记录被过滤和拦截的、用于禁止或限制用户访问特定网络资源的名单。2）白名单：指记录不被过滤和拦截的、用于允许用户访问特定网络资源的名单。3）只允许名单：指记录仅允许用户访问的特定网络资源的名单。宽带网络接入服务器应提供对黑名单、白名单、只允许名单等列表信息记录的编辑和管理功能，以有效维护相关列表的信息记录。设备名单方式的名单记录维护功能包括：一应提供手工添加、删除、编辑单个或多个记录的功能：一应提供手工批量导入、导出多个记录的功能；一宜提供自动下载、更新记录的功能。6.2特征匹配方式
宽带网络接入服务器应支持特征匹配的方式来对信息的相关内容（如网址、文本等）进行过滤。内容特征匹配方式，是通过将特定类型的目标内容信息特征与相应类型内容信息的特征/样本数据库记录进行匹配比对来实现特定类型内容的过滤。按相关信息内容的不同类型，宽带网络接入服务器用于信息过滤的特征/样本数据库可包括但不限于网址数据库、文本关键字库（可选）、图像特征库（可选）等。相关的特征/样本数据库按存储位置可分为本地数据库和网络数据库：1）本地数据库，存储于设备本地的非易失性介质；2）网络数据库，存储于可被访问的网络其他设备。宽带网络接入服务器应至少支持网络数据库和本地数据库中的一种，来实现对特定类型信息的过滤功能。支持网络数据库和本地数据库的宽带网络接入服务器，应可通过配置的方式，选择单独使用或组合使用相关数据库。
支持本地数据库的宽带网络接入服务器，设备应提供对相关数据库的基本维护功能，即应支持对数据库的编辑、索引和管理，记录应无重复，且能定期增加新记录和删除过期的无效记录。设备的本地特征/样本数据库应具有较好的可扩展性。对于本地网址数据库，应记录完整的域名、IP地址、URL等网址信息，应采用符合相关要求的加密格式存储和处理。本地网址数据库应按照国家有关规定支持在线升级，或以同步方式更新网址信息。6.3语义分析方式
宽带网络接入服务器可以支持语义分析的方式来对信息（如文本等）的相关内容进行过滤。宽带网络接入服务器提供的语义分析过滤方式，应能对语言单位根据信息相关上下文内容进行准确的潜在语义和性质分析。设备应能根据待过滤信息的同义、反义、歧义等语义分析结果，对比过滤模型和预设定的阀值实现相关信息内容的过滤。本标准对设备采用的相关语义分析功能的算法、分析模式、过滤阅值和向量表示等内容不作要求。6.4高级智能分析方式
宽带网络接入服务器可以支持高级智能分析的方式来对信息（如文本、图像、音频、视频等）的相关内容进行过滤。
按相关信息具体内容的不同类型，宽带网络接入服务器用于内容过滤的高级智能分析可包括但不限于听觉/视觉特征分析过滤、人工智能分析过滤等，可用于文本、图像、音/视频等特定内容的特征分析和过滤。
YD/T2055-2009
1）听觉特征分析过滤，指由音频数据中提取听觉特征（如音调、音高、音质等）通过特定智能分析算法，计算评价阅值并对音频信息内容进行识别、分类分析（如语音识别），实现内容过滤功能的方式：2）视觉特征分析过滤，指由视频（或图像）数据中提取视觉特征（如字符、色彩、纹理、运动等）通过特定智能分析算法，计算评价阀值并实现对视频（或图像）信息内容进行识别、分类分析（如视频动态抽样识别），实现内容过滤功能的方式：3）人工智能分析过滤，指模拟神经系统结构和功能，将用户兴趣表示为人工的智能算法（如神经网络算法），实现信息内容智能响应、自组织、抽象学习等分析功能，并进行相应内容过滤的方式。宽带网络接入服务器提供的高级智能分析内容过滤功能，可由特定的特征分析提取方法和特定的内容过滤规则组合的方式来实现。例如，设备可通过相关智能语音识别结合语义分析过滤的方式进行特定音频内容过滤。
7协议和业务要求
宽带网络接入服务器应支持HTTP协议应用的内容过滤功能宽带网络接入服务器应能按照特定的过滤规则，对HTTP的应用进行过滤。内容可包括但不限于：1）HTTP应用：
2）URL内容（如URL、资源地址/路径、端口、文件类型等）；3）HTTP动作（如get、put、post等）；4）上传（或下载）的文件及类型等：5）HTTP头字段信息（如内容类型、协议版本、地区、语言、cookie及属性等）：6）其他内容及信息（如页面内容、JavaApplet、JavaScript、ActiveX、Servlet、CGI、PHP、img等）。7.2FTP
宽带网络接入服务器应支持FTP协议应用的内容过滤功能。宽带网络接入服务器应能按照特定的过滤规则，对FTP的应用进行过滤。内容可包括但不限于：1）FTP应用：
2）URL内容（如URL、资源地址/路径、端口、文件类型等）3）FTP动作（如get、put等）；4）上传（或下载）的文件及类型等；5）FTP协议命令（如DTP、PI、mode、reply等）；6）其他内容及信息（如命令通道内容、数据通道内容等）。7.3SMTP
宽带网络接入服务器宜支持SMTP协议应用的内容过滤功能，支持SMTP协议应用内容过滤的宽带网络接入服务器，应能按照特定的过滤规则，对SMTP的应用进行过滤。内容可包括但不限于：1）SMTP应用；
2）SMTP头字段信息（如主题、to、from、originating、MIME、内容类型等）；3）SMTP协议命令（如auth、mail、data等）；4）其他内容及信息（如邮件长度、内容、附件及相应文件类型等）。5
YD/T2055-2009
宽带网络接入服务器宜支持DNS协议应用的内容过滤功能。支持DNS协议应用内容过滤的宽带网络接入服务器，应能按照特定的过滤规则，对DNS的应用进行过滤。内容可包括但不限于：1）DNS应用：
2）DNS消息（如Question、Answer、Authority、Additional、Update等）；3）其他内容及信息（如请求的域名P地址、应答信息等）。3性能和技术指标
8.1准确性
宽带网络接入服务器对信息进行内容过滤的准确性指标包括准确率、召回率、正确率、错误率等。在实际使用中，通常可采用准确率、漏判率、误判率等指标来衡量设备内容过滤的准确性。1）信息内容过滤准确率：设备将需过滤的信息内容识别并过滤的信息数量与识别过滤的信息总数的比值；
2）信息内容过滤漏判率：设备将需过滤的信息内容识别为非需过滤的信息数量与进行内容识别的实际需过滤的信息总数的比值；
3）信息内容过滤误判率：设备将不需过滤的信息内容识别为需过滤的信息数量与进行内容识别的实际不需过滤的信息总数的比值。宽带网络接入服务器进行内容过滤和有效识别的准确性指标的计算方法见本标准附录A。支持内容过滤功能的宽带网络接入服务器，其信息过滤准确率应不低于90%，信息内容过滤漏判率应不高于10%，信息内容过滤误判率应不高于5%。8.2通用指标wwW.bzxz.Net
支持内容过滤功能的宽带网络接入服务器相关丢包率、吞吐量、时延、错序比等通用指标定义及要求见YD/T1148-2005。
8.3其他性能要求
支持内容过滤功能的宽带网络接入服务器相关处理能力、QoS、可靠性、可用性要求见YD/T1148-2005。6
附录A
（规范性附录）
内容识别和有效过滤的准确性指标YD/T2055-2009
信息进行内容识别和有效过滤的准确性指标通常包括识别准确性和过滤准确性两类，主要指标分别包括准确率（precision）、召回率（recall）、正确率（accuracy）和错误率（mistake）。假设，设备需进行内容相关性识别的信息总数为N，其中实际需要识别的相关性信息总数为Nc，实际不需要识别的非相关性信息总数为Mi，则Nc+Mi=N。对于实际需要识别的信息，设备进行识别的信息数为T，其中包括识别为需过滤的信息数A和识别为不需过滤的信息数a；设备未进行识别的信息数为C。则A+a+C=T+C=Nc。对于实际不需要识别的信息，设备进行识别的信息数为F，其中包括识别为需过滤的信息数B和识别为不需过滤的信息数b：设备未进行识别的信息数为D。则B+b+D=F+D=Mi。根据信息的实际属性以及设备进行识别、过滤执行的情况，相应信息的数量如表A.1所列。表A.1识别和过滤信息数量
判定信息属性
实际信息属性
（识别为需过滤信息）
未过滤
（识别为不雷过滤信息）
未识别
A.1内容识别的准确性指标描述
（需过滤）
非相关
（不需过滤）
1）内容识别准确率：设备将相关性信息判定为需要识别的信息数量与进行内容识别的信息数量的比值，可表示为“T/（T+F）。
2）内容识别召回率：又称查全率，设备将相关性信息判定为需要识别的信息数量与实际需识别的相关信息总数的比值，可表示为“T／（T+C）”。3）内容识别正确率：设备将相关性信息判定为需要识别的信息及未识别的非相关性信息的数量和与实际信息总数的比值，可表示为“（T+D）/N”。4）内容识别错误率：设备未识别的相关性信息及将非相关性信息判定为需要识别的信息的数量和与实际信息总数的比值，可表示为“（F+C）/N”。A.2内容有效过滤的准确性指标描述1）内容过滤准确率：设备将相关性信息识别为需过滤的信息数量与识别为需过滤的信息总数的比值，可表示为“A／（A+B）”。2）内容过滤召回率：设备将相关性信息识别为需过滤的信息数量与识别的相关性信息总数的比值，可表示为“A/（A+a）”或“A/T”。3）内容过滤正确率：设备将相关性信息识别为需过滤的信息及将非相关性信息识别为不需过滤的信息的数量与进行识别的信息总数的比值，可表示为“（A+b）／（T+F）”或“（A+b）/（A+a+B+b）”。7
YD/T2055-2009
4）内容过滤错误率：设备将相关性信息识别为不需过滤的信息及将非相关性信息识别为需过滤的信息的数量与进行识别的信息总数的比值，可表示为“（a+B）/（T+F）”或“（a+B）/（A+a+B+b）”。为简化计算，对于相关性信息内容过滤的统计，在使用中可将相应的正确率近似表示为\A/T（即召回率），相应的错误率则近似表示为“a/T”。根据实际需要，上述简化的错误率指标可作为特定的辅助指标，以便于对特定的相关性内容（需过滤信息）过滤结果的分析和对比参考。为区别起见，信息过滤错误率可简化并衍生为信息内容过滤漏判率和信息内容过滤误判率：1）信息过滤漏判率：设备将需过滤信息（相关性信息）识别为不需过滤信息（非相关性信息）的数量与进行内容识别的实际需过滤信息（相关性信息）总数的比值，可表示为“a/（A+a）”或“a/T”。2）信息过滤误判率：设备将不需过滤信息（非相关性信息）识别为需过滤信息（相关性信息）数量与进行内容识别的实际不需过滤信息（非相关性信息）总数的比值，可表示为“B/（B+b）”或“B/F”。o
小提示：此标准内容仅展示完整标准里的部分截取内容，若需要完整标准请到上方自行免费下载完整标准文档。