【YD通讯标准】 移动终端垃圾短消息过滤技术要求

ICS33.070
中华人民共和国通信行业标准
YD/T2035-2009
移动终端垃圾短消息过滤技术要求Technical requirements for short message spam filtering onmobile terminals
2009-12-11发布
2010-01-01实施
中华人民共和国工业和信息化部发布前言
范围·
规范性乳用文件
术语和定义，
缩略语
垃圾短消息界定
系统架构www.bzxz.net
短消息过滤流程·
用户业务管理
系统管理·
10性能指标
附录A（规范性附录）基于系统平台的移动终端垃圾短消息过滤系统附录B（规范性附录）移动终端垃圾短消息过滤性能指标参考文献
-TKAONIKACa-
yn2n35-nng
YD/T2035-2009
本标准参考了ETSITS100901《短消息业务技术实现》。本标准是消息业务安全系列标准之一。该系列标准的名称如下：1.YD/T1774-2008基于用户设置规则的消息过滤业务技术要求2.YD/T1775-2008基于用户设置规则的短消息过滤系统技术要求3.YD/T1902~2009消息类业务内容分类技术要求4.YD/T2035-2009移动终端垃圾短消息过滤技术要求本标准的附录A、附录B均为规范性附录。本标准由中国通信标准化协会提出并归口。本标准起草单位：工业和信总化部电信研究院、北京网秦天下科技有限公司、中国互联网协会、北京展讯高科通信技术有限公司、北京汉铭无线网络有限公司、中国联合网络通信有限公司、华为技术有限公司、中兴通讯股份有限公司。本标准起草人：落红卫、何桂立、张薇、党劲峰、杨骁、陈耀伟、曾明发。引言
YD/T2035-2009
随着移动业务的快速发展和移动用户的迅猛增长，短消息业务借助于其便用方便、收费低廉和收发便捷等优点得到大规模普及，并成为人们日常生活工作中沟通和交流的重要方式。但是，一些公司和个人却借助短消息业务具有“主动发送，被动接收”和价格低廉的特点，大肆散发骚扰短消息和虚假短消息，造成用户的普遍反感，却苦于无法拒绝，此类短消息被称作垃圾短消息。总的来说，垃圾短消息日益泛滥，不仪严重地影嗨到国家安全、社会稳定和人民生活，同时也影响到短消息业务的良性发展，目前，垃圾短消息非常难于治理，其治理的最大难点就是垃圾短消息没有统一判定依据来界定而导致无依据来治理。事实上，垃圾短消息的判定是由具体接收者来确定，也就是说垃圾短消息认定的主体是短消息接收者。例如广告短消息，对于不需要的接收者来说，是垃圾短消息；但是对于需要的接收者来说，就不是垃圾短消息，而是有用短消息。故此，垃圾短消息最好由短消息接收者来判定。同时，接收者是通过移动终端来管理接收到的短消息，所以基于移动终端的垃圾短消息过滤是目前垃坡短消息过滤的最重要的环节。
为实现对移动终端接收到的垃圾短消息过滤，根据相应的国际国内标准和国内运营商、业务提供商的短消息业务现网情况，特制定本标准。KAONIKACa
1范围
移动终端垃圾短消息过滤技术要求YD/T 2035-2009
本标准规定了移动终端垃圾短消息过滤软件的系统架构、过滤流程、业务管理、系统管理以及性能指标。
本标准适用于移动终端垃圾短消息过滤软件。2规范性引用文件
下列文件中的条款通过本标准的引用而成为本标准的条款。凡是注日期的引用文件，其随后所有的修改单（不包括勘误的内容）或修订版均不适用于本标准。然而，鼓励根据本标准达成协议的各方研究是否可使用这些文件的最新版本。凡是不注日期的引用文件，其最新版本适用于本标准。YD/T 1774-2008
YD/T 1775-2008
YD/T 1902-2009
ETSI TS 100 901
3术语和定义
基于用户设置规则的消息过滤业务技术要求基于用户设置规则的短消息过滤系统技术要求消息类业务内容分类技术要求
短消息业务技术实现
下列术语和定义适用于本标准。3.1
短消息业务shortmassageservice通信系统提供的通信终端之闻，或猪通信终端与其他短消息实体之间进行文字信息收发的业务3.2
短消息业务中心short message service center在短消息实体(SME)与移动台(MS)之间，负责中继、存储和前转短消息的实体。3.3
短消息终端 short message terminal从短消息业务中心接收或者向短消息业务中心发送短消息的终端设备。3.4
短消息用户shortmessageuser
可以通过短消息终端便用短消息业务的用户。3.5
漏报 falsenegatives
指非法短消息未被短消息过滤系统检测到而造成的错误。3.6
误报falsepositives
YD/T2035-2009
短消息过滤系统把合法短消息判断为非法短消息，或者把一种非法短消息判断为另一种非法短消息而导致的错误：
机器学习machinelearning
研究计算机如何模拟人类的学习行为，以获取新的知识或技能使之不断改善自身的性能。4缩略语
下列缩略语适用于本标雅。
Filtering Engine Module
Filtering Rule Module
Filtered SMS Module
Mobile Originated
Mobile Station
Mobile Terminated
Result Disposal Module
SMS Access Module
Short Message Entity
Short Messaging Service
Short Messaging Center
User Management Module
5垃圾短消息界定
过滤引擎模块
过滤规则数据库
过滤短信数据库
移动发起
移动台
移动终止
结果处理模块
短消息接入模块
短消息实体
短消息业务
短消息中心
用户管理模块
垃圾短消息是内容违法违规，和违背手机用户主观意志并且在客观上对用户造成工作生活上疆扰或者用户权益上侵害的短消息。通常具有如下特征：内容不受接收者欢迎
垃圾短消息多半含有商业目的，也有部分垃圾短消息含有政治宣传、色情广告等信息，很多都具有欺骗的性质，这些短消息大都不受接收者欢迎。。未经用户许可
由于短消息业务采用“主动发送，被动接收”的工作模式，垃圾短消息发送者往往没有征得短消息接收用户许可就接给手机用户发送。使用非法收集号码
垃圾短消息发送者往往没有征得用户同意，就直接通过网站、调查、注册等渠道来获取移动用户终端号码，进而发送垃圾短消息。·通常批量发送
出于经济利益、政治利益等方面的考虑，垃圾短消息总是批量发送。批量发送主要有两种发送手段：按照号段全面发送；按照号码精确发送。按照号段全面发送短消息没有考虑到用户情况，必然是垃圾短消息，而按照号码精确发送并没有征得短信尽标用户同意，同样是垃圾短消息。·往往具有重复性
TIKAONIKACa-
YD/T2035-2009
垃圾短消息发送者一旦获知了目标用户终端号码，往往会给这些号码多次发送短消息，以期达到最终的经济、政治利益。
无法阻止此类短消息发送
短消息业务采用的是“主动发送，被动接收”的工作模式，故此，短消息接收者没有办法直接限制垃圾短消息发送者发送。
具体操作上，除违法违规以外的垃圾短消息，均由短消息接收者判定是否为垃圾短消息，进而进行相应处理。
6系统架构
6.1总体架构
移动终端垃圾短消息过滤软件至少包括如下模块：短消息接入模块（SAM）、过滤引擎模块（FEM）、结果处理模块（RDM）、用户管理模块（UMM）、收件箱（Inbox）、过滤短信数据库（FSD）和过滤规则数据库（FRD）。短消息接入模快实现短消息接入功能：过滤引擎模块主要完成垃圾短消息判定功能；结果处理模快根据过滤引擎模块的判定结果对短消息进行相应处理：用户管理模块主要完成人机接口管理配置功能（包括短消息过滤规管理、被过滤掉的短消息管理以及短消息在收件箱和过滤短消息数据库之间的移动管理）：收件箱用来保存合法短消息：过滤短信数据库用来保存被过滤掉的短消息以备后期管理（还原、删除、投诉、统计和查看）；过滤规则数据库用来保存用户设置的垃圾短消息过滤规则。移动终端垃圾短消息过滤软件原理如图1所示。收件箱
(Inbox)
结果处理模块
过滤引擎模块
（FEM)
短消点接入模块
过滤短信数据库
图1移动终端垃圾短消息过滤原理示意过滤规则数据库
用产管理模块
数据层
应用层
接入层
根据逻辑层次的不同，7个模块可以分为3个层次：短消息接入模块属于接入层；过滤引擎模块、过滤结果处理模块和用户管理模块属于应用层；收件箱、过滤短信数据库和过滤规则数据库属于数据层。3
YD/T2035-2009
根据核心处理模块一一过滤引擎模块实现位置不同，基于移动终端的垃圾短消悬过滤软件主要分为两个类型：基于终端的移动终端垃圾短消息过滤系统和基于乎台的移动终端垃圾短消息过滤系统。在基于终端的移动终端垃圾短消息过滤系统中，过滤引擎模块安装在移动终端，短消息过滤功能完全基于移动终端实现。短消息接入模块、过滤结果处理模块、过滤引擎模块、用户管理模块、收件箱、过滤短信数据库和过滤规则数据库均在移动终端上实现。在基于平台的移动终端垃圾短消息过滤系统中，过滤引擎模块在基于用户规则的短消息过滤系统中实现，见YD/T1774-2008和YD/T1775-2008。移动终端主要实现用户界面接口功能和收件箱功能，其他模块和功能主要在基丁用户规则的短消息过滤系统中实现。基于终端的移动终端垃圾短消息过滤系统相关内容见本标准的第6-10章节，而基于平台的移动终端垃圾短消息过滤系统相关内容见附录A。6.2接入层
6.2.1接入层介绍
接入层是基于终端的移动终端垃圾短消息过滤系统的外层接口，用于接入给接收用户的短消息。6.2.2短消息接入模块（SAM）
短消息接入模块（SAM）首先终结短消息的MT过程，并且根据SMS协议要求，见ETSITS100901返回相应状态报告，并把接入的短消息送入过滤引擎模块（FEM）。6.3应用层
6.3.1应用层介绍
应用层是移动终端垃圾短消息过滤系统的核心层，主要是对已接入短消息进行过滤判定并做相应处理，同时支持用户对过滤规则和已过滤短消意的管理。应用层主要包括过滤引擎模块，结果处理模块和用户管理模块。
6.3.2过滤引擎模块（FEM）
在收到短消息接入模块（SAM）传输过米的短消息后，过滤引擎模块（FEM）可以根据用户在过滤规则数据库（FRD）设定的过滤规则对该短消息进行判定。故此，过滤引擎模块（FEM）至少需要具备从过滤规则数据库（FRD）提取过滤规则，同时根据过滤规则对短消息判定的功能。6.3.3结果处理模块（RDM)
结果处埋模块（RDM）根据过滤引擎模块（FEM）的判定结果：一对于合法短消息，继续短消息剩余的下发处理流程，把合法短消息下发到收件箱，并以用户设置的提示方式提示用户有合法短消息到达；…一对下非法短消息，根据用户设置可以直接删除，也可以将该短消息保存到滤舞信数据库（S）对于保存到过滤短信数据库（FSD）的短消息，系统应根据用户设置，以响铃/震动方式提示用户有非法短消感，或者采用静默方式直接处理。献认设置应该是：来用静默方式将非法短消息保存到过滤短后数据库（FSD）。
6.3.4用户管理模块（UMM）
用户管理模块（UMM）用于用户管理（添加、删除、编辑和查看）过滤规则，管理（删除、投诉、统计和查看）被过滤掉的短消息，以及在收件箱和过滤短消息数据库之间移动短消意（将短消息从收件箱导入到过滤短消息数据库或者将短消息从过滤短消息数据库恢复到收件箱）。4
TIKAONIKACa-
YD/T2035-2009
系统可选支持过滤规则更新提示，用户可以根据实际需要选择相应的提示方式。在过滤规则更新提示方式设置中，用户可以开启自动更新提示，并设置更新提示时问长度，如果到更新提示时间用户还没有查阅或者更新规则，则系统可以提示用户查阅或者更新。系统应该支持定期自动删除被过滤掉的短消息。用户可以设置提示删除，也可以设置白动删除。6.4数据层
6.4.1数据层介绍
数据层主要用于存储用户设置的过滤规则和被过滤掉的短消息。相应数据可以以文本或者数据库的形式存储磁盘等永久性存储介质中，并支持被过滤掉的短消息数据的转储和备份。当系统内的数据超过预定义的域值时，系统应及时通知进行外部备份，从而确保数据的安全可靠。数据层主要包括过滤规则数据库（FRD）、收件箱（Inbox）和过滤短信数据库（FSD）。6.4.2收件箱（Inbox）
用于保存未被过滤的合法短消息。6.4.3过滤短信数据库（FSD）
用于保存拦截掉的短消息。
6.4.4过滤规则数据库（FRD）
用于保存过滤规则。
7短消息过滤流程
用户在移动终端上设置过滤规则：移动终端接收到来自短消息中心的短消息，同时向短消息中心发送成功接收消息：移动终端根据用户设置规则对该短消息进行判定，如果是非法短消息，则按照用户配置放入过滤短消息数据库或者直接删除：如果是合法短消息，则保存短消意绘出正常提示。短消息接入模块主要作用是终结短消息MT过程，把接收到的短消息接入到短信过滤模块。消息业务由2种基本业务组成：短消息MO(移动台发起短消息）、短消息MT(移动台终结短消息）：MO表示要从移动台（MS）到短消息中心（SMC）递交的短消息，并且通过一种特定的机制来提供关于递交报告或者错误报告的信息；MT表示要从短消息心（SMC）到移动台（MS）下发的短消息，并且通过-一种特定的机制来提供关于下发报告或者错误告的信息。短消息接入模快主要作用是终结短消息MT过程，并且返回状态报告。如图2所示。
短消息业务中心
短消息下髮一
移动终端短消息！
接入模块
图2移动下发短消息流程（SMMT）过滤引擎模块以短消息接入模块接入的短消息为输入，依据用户设置的过滤规则对此短消息进行断，得出最终的判断结果。
结果处理模块是根据过滤引擎模块的判定结果，不合法的短消息按照用户配置放入过滤短消息数据库或者直接删除，同时给出相应提示，合法的短消息同普通短消息一样正常接收并提示，用户管理模块是移动终端垃圾短消息过滤软件的人机接口，至少包括两个部分：规则管理部分和短消息管理部分。
YD/T2035-2009
8用户业务管理
8.1过滤规则
8.1.1过滤规则类型
短消息过滤规则基于如下短消息要紫来制定短消息发送号码
即根据短消息发送方号码来判别是否进行过滤，包括熙名单和白名单两种形式。黑名单是指来自相应号码的短消息都要被拦截；白名单是指只要来自相应号码的短消息均允许通过。黑白名单中不能出现重复的地址。
黑白名单中的地址可以是一个独立的号码，也可以是一个号段。如果黑白名单中定义了号段，那么属于该号段殷之内的所有地址都是有效过滤规则。短消息下发时间
基于时间段的过滤是指通过设定需要过滤的时间段，使得在相应的过滤时间段内的短消息被屏蔽。另外，对已过滤的用户短消息可以采用短消息延迟提示机制，即该时间段内的消息由移动终端暂时存储，待设定时间过后再提示用户有短消息。短消息包含内容
基于短消息内容的短消息过滤可以是基于关键词的短消息过滤，也可以是基丁机器学习的短消息过滤。
基于关键词规则是设置一些关键词，只要具有这些关键词的短消息就认定为垃圾短消息，匹配模式包括精确匹配和模糊匹配。
基下机器学习是指采用机器学习方法获取分类方法，开采用该分类方法把短消息分为正常短消息和垃圾短消息。
自前,移动终端上普遍采用的是基于关键词的过滤技术，即通过定义某个特定词语将涵盖该词的所有句子全部过滤掉。基于关键词的简单内容过滤器，将关键词独立考虑，而忽略了其与上下文的关联性，忽略了短信的整体含义。而基于机器学习的过滤方法学习各种短信的模式，通过分析短信的整体内容进行判别，从而更准确的过滤。
短消息内容类型
短消息类业务最大的特点就是采用存储转发的模式进行传输，用户并不知1道发送者发送的是什么内容的消息，在这种情况下只有被迫追接收到才能判断。往往在这种情况下，用户已经受到垃圾信息的骚扰。为了便于用户有选择的接收需要的消息，有必要通过技术手段最大限度地解决消息识别问题。在短消息源头使用合理有效的编码方案对要发送的消息进行分类编码，并目把相应代码添加到消息体的前面作为消息内容分类依据，从而保证所有短消息具备短消息内容分类特征。这样，接收者就可以依据短消息内容类型来选择接收的短销息了。基于分类代码的短消息过滤极大程度地解决广告消息骚扰的问题。短消息内容类型应符合YD/T1902-2009《消息类业务内容分类技术要求》的规定。8.1.2过滤规则组合
事实上，用户定义过滤规则通常是结合以上各个过滤要素，形成组合过滤规则。在组合过滤规则实施时，过滤规则之间的优先级是一个非常重要的问题。很多移动终端短消息过滤规则可以白定义过滤规测则优先级。
IKANIKACa
典型的多层组合过滤规则模型如图3所示。SMS输入
短消息下发时例（可选）
短消息发送号码（必选）
短消慰内容类型（可选）
短消息包含内容（必选）
SMS输出书
图3组合过滤规则模型
用户自定义黑白名单
联系人列表
公知黑白名单
YD/T2035-2009
其中，用户白定义熙白名单是指用户根据自己需要定义的黑名单和白名单；联系人列表是指用户的联系人号码列表，凡是联系人发送的短信均不被过滤；公知黑白名单是指系统预定义的黑名单和自名单号码集合
上述多层模型中，“短消息下发时间”层以及“短消息内容类型”层判断规则的顺序可以进行调整，但“短消息发送号码”层与“短消息包含内容”层的相对顺序不可调整，卫“短消息包含内容”必须为最后一层判断规则。
在短消息发送号码分层中，判断规则顺序如图3所示，首先根据用户意愿进行判断，其次根据用户已有的联系人列表进行判断，最后根据公知黑白名单进行判断。判断规则的处理方式如下：根据本层的过滤规则进行判断，如果根据规则条件该短消息应被过滤，则根据用户设置存放到被过滤短消息数据库或直接删除；如果根据规则条件该短消息不应被过滤，则保存短消息，并正常提示用户；如果不满足上述两种条件，则递交给下：一层进行判断。在最后一层处理中，如果不满足前两种条件，则保存短消息，并正常提示用户。8.1.3过滤规则管理
对基于各种规则类型组合过滤的软件要对规则组合管理，同时需要提供对特定规则的管理。●过滤规则组合管理：用户可以根据自己需要来单独的开肩或者关闭某一层过滤功能；●号码管理：可以对过滤的短信号码进行操作，例如加入白名单、黑名单、地址簿等。方便用户维护过滤规则和手机名片夹：
。过滤时段管理：对于实现了基于“短消息下发时间”的软件，可以修改要求过滤的时问段，可以配置过滤时间段内被过滤的短信在该时问段结束后是否给出提醒以及是否将短信恢复到收件箱；关键词管理：对于在基于“短消息包含内容”层进行过滤采用了基于关键词过滤的软件，可以增、删除关键词；
YD/T 2035-2009
过滤规则升级：由于垃圾短消息具有一定的时效性（指垃圾短消息的特征会随着时间改变）和地域性（指不间地区的垃圾短消息具有不同的特征），为保证短消息过滤的性能，需要支持对过滤规则中非用户配置部分的升级。过滤规则中非用户配置部分具体指“短消息发送号码”要素中的公知黑白名单，以及基于“短消息包含内容”要素过滤模块使用的资源。过滤规则中非用户配置部分的升级可由用户主动发起或者由短消息过滤系统定时启动，升级过程或者升级绪果要对用户可见，同时升级不能更改用户配置，8.2被过滤短消息
8.2.1管理被过滤短消息功能
由于短消息过滤存在漏报和误报现象，特别是基于时间段的过滤并不表示用户不需要该短消息，放此，短消息接收者需要查着和管理已经被过滤斑消息。8.2.2被过滤短消息格式
针对每一条被过滤的消息，系统软件都要记录其详细的信息，至少应包括如下字段：·发件人：发送短消息的地址：●时间：发送短消息的时间，消息过滤时间；内容：消息的内容：
。过滤原因：导致短消息过滤原因，过滤规则或者过滤类型。8.2.3被过滤短消息管理
统计功能：可以对当前所有已经过滤掉的短消息进行统计：春查看功能：可以查看已经过滤短消息的具体内容：·查询功能：可以根据查询特征来搜索已经被过滤掉的短消息·删除功能：可以单独或者批量刑除指定的被过滤短消息；导入功能：可以把手机收件箱中的短信移动到过滤短信数据库中：·恢复功能：可以把过滤短信数据库中的短信恢复到手机收件箱中；。投诉功能：可以以转发的方式把被过滤掉的短消息转发到技诉目的地。9系统管理
用户应该可以管理、配置和控制短消息过滤软件以及终端设备运行。系统管理需要支持如下功能：、查看短消息过滤系统工作状态、日志文件大小、CPU占用率、内存占用率、存储器占用率，以及软件版本信息；
●配置短消息过滤系统工作参数与工作状态，启动或者停止短消息过滤软件的运行，备份和转储过滤短消息日志和过滤规则：
·可以升级短消息过滤软件，以保持最新版本和最高性能。10性能指标
性能指标是业务系统的重要评价手段，同样对基于移动终端垃圾短消息过滤系绕也非常重要。出于移动终端资源有限，并且基于移动终端垃圾短消息过滤系统的性能指标主要包括三类：准确性指标、效率指标以及系统指标。具体规定见附录B。8
IKANIKACa
小提示：此标准内容仅展示完整标准里的部分截取内容，若需要完整标准请到上方自行免费下载完整标准文档。