【通信行业标准(YD)】 移动终端垃圾短消息过滤技术要求

ICS33.070
中华人民共和国通信行业标准
YD/T 2035-2009
移动终端垃圾短消息过滤技术要求Technical requirements for short message spam filtering onmobileterminals
2009-12-11发布
2010-01-01实施
中华人民共和国工业和信息化部　发 布　前
范围·
规范性引用文件·
术语和定义
缩略语
垃圾短消息界定
系统架构·
短消息过滤流程·
用户业务管理…
系统管理
性能指标·
附录A（规范性附录）
基于系统平台的移动终端垃圾短消息过滤系统移动终端垃圾短消息过滤性能指标附录B（规范性附录）
参考文献
YD/T2035-2009
YD/T2035-2009
本标准参考了ETSITS100901《短消息业务技术实现》。本标准是消息业务安全系列标准之一。该系列标准的名称如下：1.YD/T1774-2008基于用户设置规则的消息过滤业务技术要求3基于用户设置规则的短消息过滤系统技术要求2.YD/T1775-2008
3.YD/T1902-2009消息类业务内容分类技术要求4.YD/T2035-2009移动终端垃圾短消息过滤技术要求本标准的附录A、附录B均为规范性附录。本标准由中国通信标准化协会提出并归口。本标准起草单位：工业和信息化部电信研究院、北京网秦天下科技有限公司、中国互联网协会、北京展讯高科通信技术有限公司、北京汉铭无线网络有限公司、中国联合网络通信有限公司、华为技术有限公司、中兴通讯股份有限公司。本标准起草人：落红卫、何桂立、张薇、党劲蜂、杨骁、陈耀伟、曾明发。I
YD/T2035-2009
随着移动业务的快速发展和移动用户的迅猛增长，短消息业务借助于其使用方便、收费低廉和收发便捷等优点得到大规模普及，并成为人们日常生活工作中沟通和交流的重要方式。但是，一些公司和个人却借助短消息业务具有“主动发送，被动接收”和价格低廉的特点，大肆散发骚扰短消息和虚假短消息，造成用户的普遍反感，却苦于无法拒绝，此类短消息被称作垃圾短消息。总的来说，垃圾短消息日益泛滥，不仅严重地影响到国家安全、社会稳定和人民生活，同时也影响到短消息业务的良性发展。目前，垃圾短消息非常难于治理，其治理的最大难点就是垃圾短消息没有统一判定依据来界定而导致无依据来治理。事实上，垃圾短消息的判定是由具体接收者来确定，也就是说垃圾短消息认定的主体是短消息接收者。例如广告短消息，对于不需要的接收者来说，是垃圾短消息；但是对于需要的接收者来说，就不是垃圾短消息，而是有用短消息。故此，垃圾短消息最好由短消息接收者来判定。同时，接收者是通过移动终端来管理接收到的短消息，所以基于移动终端的垃圾短消息过滤是目前垃圾短消息过滤的最重要的环节。
为实现对移动终端接收到的垃圾短消息过滤，根据相应的国际国内标准和国内运营商、业务提供商的短消息业务现网情况，特制定本标准。m
1范围
移动终端垃圾短消息过滤技术要求YD/T 2035-2009
本标准规定了移动终端垃圾短消息过滤软件的系统架构、过滤流程、业务管理、系统管理以及性能指标。
本标准适用于移动终端垃圾短消息过滤软件。2规范性引用文件
下列文件中的条款通过本标准的引用而成为本标准的条款。凡是注日期的引用文件，其随后所有的修改单（不包括勘误的内容）或修订版均不适用于本标准。然而，鼓励根据本标准达成协议的各方研究是否可使用这些文件的最新版本。凡是不注日期的引用文件，其最新版本适用于本标准。YD/T1774-2008
YD/T1775-2008
YD/T 1902-2009
ETSITS100901
3术语和定义
基于用户设置规则的消息过滤业务技术要求基于用户设置规则的短消息过滤系统技术要求消息类业务内容分类技术要求
短消息业务技术实现
下列术语和定义适用于本标准。3.1
短消息业务shortmessageservice通信系统提供的通信终端之间，或者通信终端与其他短消息实体之间进行文字信息收发的业务。3.2
shortmessageservicecenter
短消息业务中心
在短消息实体(SME)与移动台(MS)之间，负责中继、存储和前转短消息的实体。3.3
短消息终端 short message terminal从短消息业务中心接收或者向短消息业务中心发送短消息的终端设备。3.4
短消息用户shortmessage user
可以通过短消息终端使用短消息业务的用户。3.5
漏报falsenegatives
指非法短消息未被短消息过滤系统检测到而造成的错误。3.6
误报falsepositives
YD/T2035-2009
短消息过滤系统把合法短消息判断为非法短消息，或者把一种非法短消息判断为另一种非法短消息而导致的错误。
machinelearning
机器学习
研究计算机如何模拟人类的学习行为，以获取新的知识或技能使之不断改善自身的性能。4缩略语
下列缩略语适用于本标准。
Filtering Engine Module
Filtering Rule Module
Filtered SMS Module
Mobile Originated
MobileStation
Mobile Terminated
ResultDisposal Module
SMS Access Module
Short Message Entity
Short Messaging Service
Short Messaging Center下载标准就来标准下载网
User Management Module
5垃圾短消息界定
过滤引擎模块
过滤规则数据库
过滤短信数据库
移动发起
移动台
移动终止
结果处理模块
短消息接入模块
短消息实体
短消息业务
短消息中心
用户管理模块
垃圾短消息是内容违法违规，和违背手机用户主观意志并且在客观上对用户造成工作生活上骚扰或者用户权益上侵害的短消息。通常具有如下特征：内容不受接收者欢迎
垃圾短消息多半含有商业目的，也有部分垃圾短消息含有政治宜传、色情广告等信息，很多都具有欺骗的性质，这些短消息大都不受接收者欢迎。·未经用户许可
由于短消息业务采用“主动发送，被动接收”的工作模式，垃圾短消息发送者往往没有征得短消息接收用户许可就直接给手机用户发送。·使用非法收集号码
垃圾短消息发送者往往没有征得用户同意，就直接通过网站、调查、注册等渠道来获取移动用户终端号码，进而发送垃圾短消息。·通常批量发送
出于经济利益、政治利益等方面的考虑，垃圾短消息总是批量发送。批量发送主要有两种发送手段：按照号段全面发送；按照号码精确发送。按照号段全面发送短消息没有考虑到用户情况，必然是垃圾短消息；而按照号码精确发送并没有征得短信目标用户同意，同样是垃圾短消息。·往往具有重复性
YD/T2035-2009
垃圾短消息发送者一旦获知了目标用户终端号码，往往会给这些号码多次发送短消息，以期达到最终的经济、政治利益。
·无法阻止此类短消息发送
短消息业务采用的是“主动发送，被动接收”的工作模式，故此，短消息接收者没有办法直接限制垃圾短消息发送者发送
具体操作上，除违法违规以外的垃圾短消息，均由短消息接收者判定是否为垃圾短消息，进而进行相应处理。
6系统架构
6.1总体架构
移动终端垃圾短消息过滤软件至少包括如下模块：短消息接入模块（SAM）、过滤引擎模块（FEM）、结果处理模块（RDM）、用户管理模块（UMIM）、收件箱（Inbox）、过滤短信数据库（FSD）和过滤规则数据库（FRD）。短消息接入模块实现短消息接入功能；过滤引擎模块主要完成垃圾短消息判定功能；结果处理模块根据过滤引擎模块的判定结果对短消息进行相应处理；用户管理模块主要完成人机接口管理配置功能（包括短消息过滤规则管理、被过滤掉的短消息管理以及短消息在收件箱和过滤短消息数据库之间的移动管理）；收件箱用来保存合法短消息；过滤短信数据库用来保存被过滤掉的短消息以备后期管理（还原、删除、投诉、统计和查看）；过滤规则数据库用来保存用户设置的垃圾短消息过滤规则。移动终端垃圾短消息过滤软件原理如图1所示。收件箱
(Inbox)
结果处理模块
过滤引擎模块
短消息接入模块
过滤短信数据库
图1移动终端垃圾短消息过滤原理示意过滤规则数据库
用户管理棋块
数据层
应用层
接入层
根据逻辑层次的不同，7个模块可以分为3个层次：短消息接入模块属于接入层；过滤引擎模块、过滤结果处理模块和用户管理模块属于应用层；收件箱、过滤短信数据库和过滤规则数据库属于数据层。3
YD/T2035-2009
根据核心处理模块一一过滤引擎模块实现位置不同，基于移动终端的垃圾短消息过滤软件主要分为两个类型：基于终端的移动终端垃圾短消息过滤系统和基于平台的移动终端垃圾短消息过滤系统。在基于终端的移动终端垃圾短消息过滤系统中，过滤引擎模块安装在移动终端，短消息过滤功能完全基于移动终端实现。短消息接入模块、过滤结果处理模块、过滤引擎模块、用户管理模块、收件箱、过滤短信数据库和过滤规则数据库均在移动终端上实现。在基于平台的移动终端垃圾短消息过滤系统中，过滤引擎模块在基于用户规则的短消息过滤系统中实现，见YD/T1774-2008和YD/T1775~2008。移动终端主要实现用户界面接口功能和收件箱功能，其他模块和功能主要在基于用户规则的短消息过滤系统中实现。基于终端的移动终端垃圾短消息过滤系统相关内容见本标准的第6~10章节，而基于平台的移动终端垃圾短消息过滤系统相关内容见附录A。6.2接入层
6.2.1接入层介绍
接入层是基于终端的移动终端垃圾短消息过滤系统的外层接口，用于接入给接收用户的短消息。6.2.2短消息接入模块（SAM）
短消息接入模块（SAM）首先终结短消息的MT过程，并且根据SMS协议要求，见ETSITS10090）返回相应状态报告，并把接入的短消息送入过滤引擎模块（FEM）。6.3应用层
6.3.1应用层介绍
应用层是移动终端垃圾短消息过滤系统的核心层，主要是对已接入短消息进行过滤判定并做相应处理，同时支持用户对过滤规则和已过滤短消息的管理。应用层主要包括过滤引擎模块、结果处理模块和用户管理模块。
6.3.2过滤引擎模块（FEM）
在收到短消息接入模块（SAM）传输过来的短消息后，过滤引擎模块（FEM）可以根据用户在过滤规则数据库（FRD）中设定的过滤规则对该短消息进行判定。故此，过滤引擎模块（FEM）至少需要具备从过滤规则数据库（FRD）提取过滤规则，同时根据过滤规则对短消息判定的功能。6.3.3结果处理模块（RDM）
结果处理模块（RDM）根据过滤引擎模块（FEM）的判定结果：一对于合法短消息，继续短消息剩余的下发处理流程，把合法短消息下发到收件箱，并以用户设置的提示方式提示用户有合法短消息到达一对于非法短消息，根据用户设置可以直接删除，也可以将该短消息保存到过滤短信数据库（FSD）。对于保存到过滤短信数据库（FSD）的短消息，系统应根据用户设置，以响铃/震动方式提示用户有非法短消息，或者采用静默方式直接处理。默认设置应该是：采用静默方式将非法短消息保存到过滤短信数据库（FSD）。
6.3.4用户管理模块（UMM）
用户管理模块（UMM）用于用户管理（添加、删除、编辑和查看）过滤规则，管理（删除、投诉统计和查看）被过滤掉的短消息，以及在收件箱和过滤短消息数据库之间移动短消息（将短消息从收件箱导入到过滤短消息数据库或者将短消息从过滤短消息数据库恢复到收件箱）。4
YD/T2035-2009
系统可选支持过滤规则更新提示，用户可以根据实际需要选择相应的提示方式。在过滤规则更新提示方式设置中，用户可以开启自动更新提示，并设置更新提示时间长度，如果到更新提示时间用户还没有查阅或者更新规则，则系统可以提示用户查阅或者更新。系统应该支持定期自动删除被过滤掉的短消息。用户可以设置提示删除，也可以设置自动删除。6.4数据层
6.4.1数据层介绍
数据层主要用于存储用户设置的过滤规则和被过滤掉的短消息。相应数据可以以文本或者数据库的形式存储磁盘等永久性存储介质中，并支持被过滤掉的短消息数据的转储和备份。当系统内的数据超过预定义的域值时，系统应及时通知进行外部备份，从而确保数据的安全可靠。数据层主要包括过滤规则数据库（FRD）、收件箱（Inbox）和过滤短信数据库（FSD）。6.4.2收件箱（lnbox）
用于保存未被过滤的合法短消息。6.4.3过滤短信数据库（FSD）
用于保存拦截掉的短消息。
6.4.4过滤规则数据库（FRD）
用于保存过滤规则。
7短消息过滤流程
用户在移动终端上设置过滤规则；移动终端接收到来自短消息中心的短消息，同时向短消息中心发送成功接收消息；移动终端根据用户设置规则对该短消息进行判定，如果是非法短消息，则按照用户配置放入过滤短消息数据库或者直接删除；如果是合法短消息，则保存短消息给出正常提示。短消息接入模块主要作用是终结短消息MT过程，把接收到的短消息接入到短信过滤模块。消息业务由2种基本业务组成：短消息MO(移动台发起短消息)、短消息MT(移动台终结短消息)。MO表示要从移动台（MS）到短消息中心（SMC）递交的短消息，并且通过一种特定的机制来提供关于递交报告或者错误报告的信息；MT表示要从短消息中心（SMC）到移动台（MS）下发的短消息，并且通过一种特定的机制来提供关于下发报告或者错误报告的信息。短消息接入模块主要作用是终结短消息MT过程，并且返回状态报告。如图2所示。
短消息业务中心
短消息下发
移动终端短消息
接入模块
图2移动下发短消息流程（SMMT）过滤引擎模块以短消息接入模块接入的短消息为输入，依据用户设置的过滤规则对此短消息进行判断，得出最终的判断结果。
结果处理模块是根据过滤引擎模块的判定结果，不合法的短消息按照用户配置放入过滤短消息数据库或者直接删除，同时给出相应提示，合法的短消息同普通短消息一样正常接收并提示。用户管理模块是移动终端垃圾短消息过滤软件的人机接口，至少包括两个部分：规则管理部分和短消息管理部分。
YD/T2035-2009
8用户业务管理
8.1过滤规则
8.1.1过滤规则类型
短消息过滤规则基于如下短消息要素来制定：·短消息发送号码
即根据短消息发送方号码来判别是否进行过滤，包括黑名单和白名单两种形式。黑名单是指来自相应号码的短消息都要被拦截；白名单是指只要来自相应号码的短消息均允许通过。黑白名单中不能出现重复的地址。
黑白名单中的地址可以是一个独立的号码，也可以是一个号段。如果黑白名单中定义了号段，那么属于该号段之内的所有地址都是有效过滤规则。·短消息下发时间
基于时间段的过滤是指通过设定需要过滤的时间段，使得在相应的过滤时间段内的短消息被屏蔽。另外，对已过滤的用户短消息可以采用短消息延迟提示机制，即该时间段内的消息由移动终端暂时存储待设定时间过后再提示用户有短消息。·短消息包含内容
基于短消息内容的短消息过滤可以是基于关键词的短消息过滤，也可以是基于机器学习的短消息过滤。
基于关键词规则是设置一些关键词，只要具有这些关键词的短消息就认定为垃圾短消息，匹配模式包括精确匹配和模糊匹配。
基于机器学习是指采用机器学习方法获取分类方法，并采用该分类方法把短消息分为正常短消息和垃圾短消息。
目前,移动终端上普遍采用的是基于关键词的过滤技术，即通过定义某个特定词语将涵盖该词的所有句子全部过滤掉。基于关键词的简单内容过滤器，将关键词独立考虑，而忽略了其与上下文的关联性，忽略了短信的整体含义。而基于机器学习的过滤方法学习各种短信的模式，通过分析短信的整体内容进行判别，从而更准确的过滤。
·短消息内容类型
短消息类业务最大的特点就是采用存储转发的模式进行传输，用户并不知道发送者发送的是什么内容的消息，在这种情况下只有被迫接收到才能判断。往往在这种情况下，用户已经受到垃圾信息的骚扰。为了便于用户有选择的接收需要的消息，有必要通过技术手段最大限度地解决消息识别问题。在短消息源头使用合理有效的编码方案对要发送的消息进行分类编码，并且把相应代码添加到消息体的前面作为消息内容分类依据，从而保证所有短消息具备短消息内容分类特征。这样，接收者就可以依据短消息内容类型来选择接收的短消息了。基于分类代码的短消息过滤极大程度地解决了广告消息骚扰的问题。短消息内容类型应符合YD/T1902-2009《消息类业务内容分类技术要求》的规定。8.1.2过滤规则组合
事实上，用户定义过滤规则通常是结合以上各个过滤要素，形成组合过滤规则。在组合过滤规则实施时，过滤规则之间的优先级是一个非常重要的问题。很多移动终端短消息过滤规则可以自定义过滤规则优先级。
典型的多层组合过滤规则模型如图3所示。SMS输入
短消息下发时间（可选）
短消息发送号码（必选）
短消息内容类型（可选）
短消息包含内容（必选）
SMS输出★
图3组合过滤规则模型
用户自定义黑白名单
联系人列表
公知黑白名单
YD/T2035-2009
其中，用户自定义黑白名单是指用户根据自己需要定义的黑名单和白名单；联系人列表是指用户的联系人号码列表，凡是联系人发送的短信均不被过滤；公知黑白名单是指系统预定义的黑名单和白名单号码集合。
上述多层模型中，“短消息下发时间”层以及“短消息内容类型”层判断规则的顺序可以进行调整，但“短消息发送号码”层与“短消息包含内容”层的相对顺序不可调整，且“短消息包含内容”必须为最后一层判断规则。
在短消息发送号码分层中，判断规则顺序如图3所示，首先根据用户意愿进行判断，其次根据用户已有的联系人列表进行判断，最后根据公知黑白名单进行判断。判断规则的处理方式如下：根据本层的过滤规则进行判断，如果根据规则条件该短消息应被过滤，则根据用户设置存放到被过滤短消息数据库或直接删除；如果根据规则条件该短消息不应被过滤，则保存短消息，并正常提示用户；如果不满足上述两种条件，则递交给下一层进行判断。在最后一层处理中，如果不满足前两种条件，则保存短消息，并正常提示用户。8.1.3过滤规则管理
对基于各种规则类型组合过滤的软件需要对规则组合管理，同时需要提供对特定规则的管理。过滤规则组合管理：用户可以根据自已需要来单独的开启或者关闭某一层过滤功能；·号码管理：可以对过滤的短信号码进行操作，例如加入白名单、黑名单、地址簿等。方便用户维护过滤规则和手机名片夹；
。过滤时段管理：对于实现了基于“短消息下发时间”的软件，可以修改要求过滤的时间段，可以配置过滤时间段内被过滤的短信在该时间段结束后是否给出提醒以及是否将短信恢复到收件箱；··关键词管理：对于在基于“短消息包含内容”层进行过滤采用了基于关键词过滤的软件，可以增加、删除关键词；
小提示：此标准内容仅展示完整标准里的部分截取内容，若需要完整标准请到上方自行免费下载完整标准文档。