【YD通讯标准】 与应用解耦的网络缓存技术架构

中国通信标准化协会标准
YDB129—2013
与应用解耦的网络缓存技术架构Decoupled application data enroute technical framework2013-12-11印发
中国通信标准化协会发布
前言．．
范围。
规范性引用文件
3术语、定义和缩略语.，
3.1术语和定义
3.2缩略语。
4.1概述.
4.2现有技术分析.
4.3标准化的通用网络存储架构.5需求分析.
5.1基本需求.
应用无关的API
跨架构接入
5.1.3联通性...
5.1.4出错或失败状态
5.2传输和时延.。
5.3数据获取...
5.4数据管理..
5.4.1存储数据的生命周期.
5.4.2离线应用，
5.5资源控制..
支持多种应用.
5.5.2精确到每个用户及每片数据的控制5.5.3架构客户端之间协商资源控制策略.5.6鉴权...
5.6.1用户读取.
5.6.2用户写入.
5.6.3权限校验.
5.6.4资质验证，
5.7数据存储.
存储的数据可准确册除。
5.7.2并发写入.
5.7.3并发读取..
5.7.4边写入边读取.
写入模式.
存储状态。
YDB129—2013
YDB1292013
6技术架构
6.1架构设计原则
6.1.1分离的控制/元数据和数据平面6.1.2不可更改的数据对象
6.1.3有标识的数据对象
6.1.4精确控制
6.1.5通过用户代理的资源和数据访问控制6.2系统架构
6.2.1概述
DECADE客户端
DECADE服务器.
6.2.4数据排序和命名
应用范围
6.2.6基于令牌的鉴权和资源控制发现机制
6.3协议
6.3.1DECADE资源协议（DRP）
6.3.2标准数据传输协议(SDT）
7安全性考虑..
7.1基本安全性考虑
7.2拒绝服务攻击威胁
7.3协议安全性威胁
7.3.1授权机制威胁.
7.3.2数据欺骗威胁
应用场景．··
TiiKAoNiKAca
本标准按照GB/T1.1-2009给出的规则起草。YDB129—2013
请注意本文件的某些内容可能涉及专利。本文件的发布机构不承担识别这些专利的责任。为适应信息通信业发展对通信标准文件的需要，由中国通信标准化协会组织制定中国通信标准化协会标准”，推荐有关方面参考采用。有关对本标准的建议和意见，向中国通信标准化协会反映。本标准由中国通信标准化协会提出并归口。本标准起草单位：中国电信集团公司、华为技术有限公司、工业和信息化部电信研究院、中国联合网络通信集团有限公司、中兴通讯股份有限公司。本标准主要起草人：庞涛、黄海、武娟、宋海滨、宗宁、管红光、曹蓟光、马少武、李明栋。III
HiiKAoiKAca
1范围
与应用解耦的网络缓存技术架构YDB129—2013
本标准规定了一种用于在网络中提供通用存储功能的技术架构，用户可向部署该存储技术架构的网络中写入、读取、删除内容，并且利用该存储功能实体进行内容的分发。本标准适用于P2P网络，但并不涉及该网络存储和外部设备的接口。同时本标准也不涉及存储内容的版权问题和对内容过滤的方法。2规范性引用文件
下列文件对于本文件的应用是必不可少的。凡是注日期的引用文件，仅所注日期的版本适用于本文件。凡是不注日期的引用文件，其最新版本（包括所有的修改单）适用于本文件。3媒体类型规定和注册过程（MediaTypeSpecificationsandRegistrationIETF RFC4288
Procedures)
IETFRFC5849bZxz.net
IETF RFC6646
OAuth协议1.0版本（TheOAuth1.0Protocol）解耦的应用数据路由问题陈述（DECoupledApplicationDataEnroute（DECADE)）Probl emSt at enment)
3术语、定义和缩略语
下列术语、定义和缩略语适用于本文件。3.1术语和定义
DECADEDECoupled Application Data Enroute应用数据分离的路由。DECADE架构目的在于制定一套基于网络存储的通用架构和协议，使得遵循标准协议的上层应用可充分利用网络存储资源存储内容、加速分发。3.1.2
DRP DECADE Resource ProtocolDECADE资源协议。在DECADE服务器和DECADE客户端之间传输的控制信令，该协议可以用来协商底层的传输协议，以及传输认证鉴权和资源控制信息的令牌。3.2缩略语
访问控制列表
应用编程接口
内容分发网络
深度包检测
Access Control List
ApplicationProgrammnngInterfaceCont ent Di st ri buti on Net workDeep Packet Inspection
HiiKAoNiKAca
YDB129—2013
WebDAV
4概述
4.1概述
基于HITP的P2P
互联网协议
互联网服务提供商
网络地址转换器
网络文件系统
个人网络视频存储器
点对点叠加网络
生存周期
视频点播
HITP based Peer to Peer
I nt ernet Prot ocol
Internet Service Provi der
Network Address Transl at orNetwork FileSysten
NetworkPersonalVideoRecorderPeer to Peer
Time to Live
Vi deo on Denand
基于Web的分布式版本管理Web-based Di stributed Aut horing and Versi oningP2P流媒体和P2P文件共享应用在互联网中占据流量的很大一部分，为减少P2P应用占用的带宽，方法之一是在网络中引入存储能力，充许P2P应用从网络侧存取数据，从而减少最后一公里用户侧的上行带宽及骨干网带宽，本标准将根据上述情况提出一种基于网络存储和标准协议的开放式网络技术架构。该架构的存储功能可以在各类应用尤其是P2P应用广泛使用。用户可向部署该存储架构的网络中写入、读取、删除内容，并且利用该存储功能实体进行内容的分发。该架构下的功能实体并不感知使用它的应用类型应用可以通过标准化接口和协议灵活地控制什么内容存储在该网络中，以及分发给别的用户时授权使用的网络资源（带宽，连接数等）。应用客户端之间或者客户端和服务器之间通过业务相关的信令负责将从网络存储获取的数据对象组合和解释成有意义的文件，呈现给用户。
4.2现有技术分析
4.2.1P2P Cache
据一些资料2008到2009年的数据，P2P应用在很多网络中占据了40%-70%的流量，这些流量给网络运营商的接入网络和骨干网络都带来了很大的负担。运营商一般采用在网络中缓存内容即Cache技术来解决这个问题。P2PCache是一种有效解决流量问题的办法，可以将流量汇聚到本地，并且有效降低上行带宽的使用。一般来讲，P2PCache分为两种类型，一种是透明的Cache，即应用并不知道该P2PCache的存在，网络运营商一般在提供的Cache服务器上装载了热门的内容，并且通过DPI设备分析用户的内容请求，伪造响应消息给用户，使得内容的提供者指向就近的P2PCache服务器。另一种类型是非透明的Cache，这种Cache拥有P2P客户端的功能，并且存储了大量的热门内容，P2P应用需要一种服务发现机制来将用户的请求导向附近的Cache。但是现在的P2PCache技术的一个缺点在于Cache服务器需要支持多种多样的P2P协议，而且这些P2P协议因为修正缺陷或者增加功能都在不停的更新，同时新的P2P协议也在不停的涌现，这对P2PCache服务器的提供者来说，意味着维护及其复杂。现在的P2PCache技术的另一个缺点在于Cache服务器完全是按照网络运营商的需求来部署的，应用并不能够控制什么内容存储在Cache服务器上，也不能控制谁能够访问Cache，以及Cache的网络资源如何分配等等。这样应用的策略就无法在Cache上实现，例如P2P应用已经具有共享时给自已的Peer分配资源的功能，但是现有的Cache服务器并不支持。2
TiiKAoNiAca
YDB129—2013
CDN（ContentDeliveryNetwork）的核心思想是以存储换带宽，主要用于内容尤其是媒体内容的分发。CDA一般采用层级架构，存储中心集中保存完整内容库，内容从中心复制到距离用户较近的网络边缘存储或缓存，用户直接从边缘服务器获取内容，提高内容获取速度，减少存储中心分发压力。CDA包含请求路由、内容传输、分发调度及帐户管理等功能架构。请求路由功能负责将用户请求引导至合适的边缘服务器，同时负责边缘服务器存储内容的更新；内容传输功能负责将存储于边缘服务器的内容传输至用户侧分发调度负责将源内容调度到边缘服务器并确保内容在各个边缘存储的一致性帐户管理负责维护用户日志、记录CDA服务器使用情况等，这些信息用于生成流量报告和CDA服务账单。在实际系统中CDA通常用于存储静态内容，包括：图片、视频、广告及其它基于动态页面内容的嵌入式对象。CDΛ的主要能力是保障内容分发的可靠性和及时性。CDN的主要应用包括：内容存储和管理、内容分发、内容缓存、静态/动态/流媒体内容传输、备份及灾难恢复等。4.2.3WebCache
Webcache（网页缓存）技术广泛应用于互联网中，用来降低带宽消耗、减少接入延时。WebCache部署在用户和Veb服务器之间，主要用来缓存用户请求的Web页面、图片等降低服务器负载及出口带宽提升用户体验。WebCache服务器可同时服务于众多用户，当用户请求的内容被缓存后，后续其他用户再次请求相同内容时，由缓存直接提供请求的内容，Webcache的另一种形式是在用户本地进行Veb内容的缓存，通常由Web浏览器实现，本地缓存保留用户最近浏览的Web页面内容，当用户再次请求相同内容页面时，浏览器从本地缓存直接获取内容。一种同P2P应用相关的Vebcache协议为HPTP（HITPbasedPeertoPeer），该协议通过HITP协议的cache-control头共享P2P文件或流媒体的分片数据。4.3标准化的通用网络存储架构
通过标准协议及开放式的网络存储接入，可以有效的解决以上常见内容分发系统面临的难题。标准化的协议和接口充许P2P应用从网络存储存取内容，并对网络存储的资源（例如带宽、连接数等）实施控制。当然该架构不仅仅可以用于P2P应用，事实上，将存储作为网络能力，开放给用户使用，使得基于内容的网络应用可自由使用本标准的网络缓存（存储）技术架构。为达到控制和数据分离的目的，内容数据的分片存储、分片数据命名及查询由应用实现，该架构仅提供网络存储及数据对象分发功能，提供包括存储数据对象的读、写、删除等最基础的通用操作。图1给出了标准化的通用网络存储分发架构示意。标准协议
网络存储
标准协议
P2P应用客户端
P2P应用自有协议
标准协议
内容发布者
图1标准化的通用网络存储分发架构示意3
HiiKAoiKAca
YDB129—2013
5需求分析
5.1基本需求
5.1.1应用无关的API
该架构将内容存储和分发能力独立出来，为不同应用提供通用的基础服务，因此必需引入全新的应用无关的API用来接入网络存储。5.1.2跨架构接入
架构需支持元数据（例如，上传数据的描述文件）的存储，元数据可帮助用户定位期望的数据对象。而数据对象有可能被存储在各种不同的终端之上，为屏蔽终端环境的差异性，必需使用操作系统无关，运行环境无关的通用格式传输元数据。5.1.3联通性
无论是在企业还是在家庭，防火墙和NAT设备广泛应用于互联网络，该架构的部署应基于已有网络环境，不应为使用架构服务而专门改动类似设备的配置或者增加网络支持手段（例如，通过应用层网关联通）。
5.1.4出错或失败状态
5.1.4.1过载状态
当网络存储运行在极限状态，有可能无法处理新的请求时，网络存储不应再对额外的请求进行响应此时应对新到的请求拒绝服务，否则有可能影响现有正在处理的请求的及时响应。5.1.4.2资源不足
当架构资源的请求者所请求的资源（例如存储空间）不足时，架构必需告知请求者（例如请求存储大量数据）资源不足的原因。
5.1.4.3无法获取或已删除的数据必需支持以下三种情况下的错误提示，包括：数据不可存储；
数据已删除；
c）数据被标记为不可获取。
5.2传输和时延
该架构需为用户提供低时延的接入。整个架构中必需允许用户所属的网络存储从其他用户的网络存储直接获取数据。为实现高效的分布式传输，传输数据应切分为尺寸较小的数据对象，以Server-to-Server（服务器到服务器）的方式在网络存储节点之间交互数据。5.3数据获取
整个架构最基本的需求是实现客户端对属于自身的网络存储资源的读取和写入。为达到数据共享和分发的目的，拥有网络存储的用户应允许其他用户在授权范围内使用自己的网络存储资源。4
iiiKAoiKAca
YDB129—2013
作为开放式的架构，数据传输可采用已有的标准传输协议，例如NFS和VebDAV都提供了网络存储的读写操作，但由于不同的应用可能采用不同的协议，因此架构应支持多种协议，而架构客户端应该能够和架构协商适用的协议。同时为了保证该架构的简单和通用性，底层的传输协议需要控制为少数几种标准的协议。
5.4数据管理
5.4.1存储数据的生命周期
由客户端上传架构存储的某些数据可能只有短暂的生命周期，例如实时直播流媒体数据。为存储数据提供TTL（Time-to-Live，生命周期）属性可以减少为删除数据传输的请求指令，因此架构客户端必需支持对存储的数据进行TTL标识，以便网络存储在数据过期后进行删除。5.4.2离线应用
为保障用户能够完整获取数据，即使应用已经离线，其他获得授权的用户节点应该仍然可以从该应用的网络存储获取到数据，最典型是移动网络坏境，终端用户可能经常掉线并重新连接，因此架构应支持授权用户对离线应用或用户网络存储资源的获取。5.5资源控制
这里的资源指的是网络和存储资源，如网络带宽、连接数、存储空间、优先级等等。5.5.1支持多种应用
拥有架构资源的用户可将网络存储共享给多个应用使用，例如，同一个用户可以将网络存储共享给VoC业务以及直播流媒体业务，而这两个业务运行于不同终端，相互之间也不互通，此时，应由用户来决定资源在不同业务应用之间的分配。因此架构需提供资源共享配置能力，由用户定义多种应用的资源共享策略。
5.5.2精确到每个用户及每片数据的控制用户可以管理由该用户分配给其他Peer使用的网络存储资源（例如，带宽和连接数）。资源控制策略可以基于某一个单独的远程访问用户，也可以基于某一类应用。P2P应用一般基于对每个Peer和每片数据的精确控制，例如，应用的调度策略可能指定某些拥有较高带宽的节点共享接收到的数据；某些数据在分发时拥有较高的优先级。因此客户端必需能够为每个Peer在规定的时间内如何读写数据进行限定，而架构侧按照设置的限定为请求者提供服务。5.5.3架构客户端之间协商资源控制策略可扩展性是开放式服务架构的一个重要指标，由于同一个架构节点可能服务于多个用户且多数P2P应用使用小块的分片数据进行交互，如果每块数据的存取都要同服务节点进行交互和确认，则整个架构的扩展性可能面临挑战。解决办法是让请求用户获取到资源控制策略，请求用户根据控制策略访问架构资源，从而减少网络侧的消息处理。5.6鉴权
由获得网络存储服务的用户负责为其所拥有的网络存储的使用分配权限，包括用户接入，内容使用以及使用的期限等都可考虑作为鉴权对象。5.6.1用户读取
HiiKAoiKAca
YDB129—2013
架构客户端必需能够授权访问用户读取存储在其网络存储之上的其权限范围内的数据。5.6.2用户写入
架构客户端必需能够授权访问用户向其网络存储写入数据。由于用户所属的网络存储空间有限，架构客户端应该只充许某些访问用户拥有写入权限。5.6.3权限校验
在响应请求前，架构必需校验分配给访问用户的权限，架构可采用优化的措施，只要鉴权的内容相同，权限校验就没必要每次都进行。5.6.4资质验证
架构客户端可能运行在诸如移动终端这类的处于不稳定的网络连接环境中的设备之上或者可能没有固定的IP地址，因此架构对客户端资质的验证不能基于IP地址，而应该通过其他手段进行资质验证。5.7数据存储
5.7.1存储的数据可准确删除
由于架构客户端需要对有限的网络存储空间不断写入数据，当磁盘空间到达上限时，用户必需删除老化的数据腾出空间，因此架构客户端必需能够准确删除老化的数据。5.7.2并发写入
架构禁止多个用户对同一数据对象的并发写入操作，从而以高效简洁的方式避免数据冲突。应对同时写入的用户进行错误提示。
5.7.3并发读取
架构必需允许对同一数据对象的并发读取，以实现高效数据分发和传输。5.7.4边写入边读取
应允许用户对在数据完全写入存储之前就可以开始读取数据，一些流媒体应用对延迟非常敏感，存储-转发（完全写入前即开始读取）的机制可以降低时延。5.7.5写入模式
应至少支持数据追加这种写入方式，应用可能将上传架构的数据分为多个数据包进行传输，架构应至少支持将接收到的数据顺序写入的功能。5.7.6存储状态
架构客户端必需能够获得当前的资源使用情况，包括存储数据列表和资源的配额。6技术架构
6.1架构设计原则
6.1.1分离的控制/元数据和数据平面6
YDB129—2013
DECADE系统将支持多种内容分发应用。一个完整的内容分发应用，实现一系列的”控制平面”功能包括内容搜索，索引和采集，访问控制，插入，复制，请求路由和服务质量的制定。在设计控制平面功能时，不同内容的分发应用将拥有统一的考虑因素：元数据管理调度：传统文件系统提供一种标准的元数据抽象：一个用来提供命名空间管理的目录的递归结构；每个文件是不透明字节流。在内容分发中，应用可能使用不同的元数据管理调度。举例来说，一个应用可能使用块序列（例如，文件分享），而另一个应用可能使用通过时间来索引的帧（不同大小）序列；资源调度算法：许多成功的P2P系统在高效利用对等资源和基础资源方面积累了丰富的经验。举个例子，在构建拓扑结构上，许多实时播放视频的P2P系统有它们独特的算法来构建拓扑，从而获取低延迟，高带宽的流数据，并且这些算法还在不断优化。由于控制平面功能的多样性，网络设备实现的存储功能应该具备基本的导出机制和尽可能的灵活性，以便控制平面实现各种策略。这符合终端到终端系统的原则：即充许创新，也满足特定业务的自标。控制平面和数据平面分离不是新内容。举例来说，penFow（一种配置协议，由集中服务器计算转发路径，并把匹配规则和动作下发到转发设备上）模型就是为因特网路由原则的实现，其中，转发数据库的计算和转发数据库的应用是分开的。Google文件系统适用于设计文件系统的原则，通过利用Master（主控）节点来操作元数据的管理，利用hunk（数据段）服务节点来操作数据平面功能（例如，Chunk节点的读写）。NFSV4.1（网络文件系统4.1版本）的pNFS（并发网络文件系统）扩展也实施了这一原则6.1.2不可更改的数据对象
将要被大范围分发的内容数据块的属性通常不可更改。大容量内容如视频顿和图像在分发后还要再修改内容的情况并不常见。
数据平面仅关注不可变更的数据，可以放宽对数据一致性的要求，从而极大地简化数据平面设计，而且，还可以有效地重复利用数据和删除几余内容。根据应用的具体要求，应用可以在DECADE的服务器上存储数据，每个数据对象都是完全独立的（例如，一个完整的可单独解码的视频片段）。一个应用也可以将数据分割成块，这些块由应用程序重组。许多内容分发应用将大容量内容分割成块有两个原因：a）多路径：不同的块可能从不同的源并发获取；b）更快的恢复和验证：独立的块可以被单独恢复和验证。大多数情况下，应用程序使用的块大小会大于一个网络数据包，以减少控制用数据包头的开销尽管基于本架构的某些协议规范中可能描述了为满足某些兼容系统的要求而规定的数据最小和最大尺寸求，但是，DECADE系统本身并不感知数据对象的属性，也不为它们指定固定大小。应用既可以将自身现有的数据块的作为数据对象，也可以在DECADE服务器存储数据之前重新调整块的大小。
虽然数据块的内容不可以修改，但是整个数据块本身可以被删除。通过存储新数据对象和删除现存数据对象，应用可以支持存储在DECADE服务器上的已有数据的修改。例如，一个控制平面的元数据管理功能可以通过”名称”关联一个数据块序列，这些数据块中如果其中的一个块要被修改，元数据管理功能可以改变该”名称”的映射关系，将名称指定到一个新的数据块序列。本标准中所有数据对象/块都作为不可修改的数据对象/块。6.1.3有标识的数据对象
内容消费者通过一个数据对象标识访问存储在DECADE服务器上的数据对象，该数据标识由某个应用分配，并且在该应用环境中是唯一的。YDB129—2013
在一个单独的应用上下文环境中，一个内容消费者可能会访问多个存储服务器。由DECALE存储提供者管理的一个数据对象在不同存储服务器上的多个副本仍然是通过一个单独的标识访问。因为数据对象是不可修改的，所以可以为每个数据对象分配固定的标识。数据对象的标识应该由内容提供商创建，内容提供商负责上传对象到应用数据分离服务器上。对于某些应用而言，DECADE客户端和服务器端能够验证某个数据对象的”命名”和数据”的绑定关系至关重要，例如，请求方需要验证已经获得的数据对象是否是根据命名请求返回的正确数据。如果一个具体应用有需求，通过提供消息摘要或所谓自验证命名信息，数据对象标识能支持命名内容绑定验证。
命名规范的基本要求如下：
一支持不同的名字和对象的绑定验证机制；一由应用（DECADE内容提供商）决定使用什么样的机制（或者不提供命名对象验证，例如，如果真实性和完整性能通过其他方法来确定）；支持简单的命名对象绑定验证（例如，基于哈希摘要）：在无需注册或其它辅助的形式的情况下，应用可以构建唯一的命名；命名可以是自描述的，以致一个接收到的实体（DECADE内容消费者）知道使用什么样的哈希函数（例如SHA-256）可以用来验证命名对象绑定。对于某些内容分发应用，通过计算数据对象的哈希值得到命名，这使得DECADE对象在实际应用中不可更改。但可能存在其它的应用，如现场直播，其对象/块名字不是基于哈希表，而是基于枚举方案，DECADE命名方案也使得此类应用可以创建对象/块数据的唯一命名。为了保证唯一性，灵活性和自描述性，DECADE命名规范提供了如下命名元素：-表明命名对象验证函数类型（例如，SHA-256）的”类型”字段；一由类型”信息决定的加密数据（例如对象的哈希值）；（可选）附加信息，如应用环境或发布者的信息等。名字的具体形式（例如，编码，哈希算法等等）在本文档的范围之外，留待协议规定。DECADE命名规范可用在数据被完全存储在服务器之前，客户端就已知该对象名称，这样的应用场景中。它允许特定的优化，例如当数据对象被存储的同时广播该数据对象，从而消除数据对象在完全存储后再转发而造成的延迟。例如，客户端A可能在开始存储一个服务器发送过来的对象的同时，通知客户端B，A正在存储的数据对象可用，这样，客户端B可以在A完成存储完整对象之前就开始下载对象。如果对象名字不是基于内容的哈希，DECADE名字也可以用在”本地创建数据对象前，客户端已知该数据对象的名字”这样的应用场景。6.1.4精确控制
为支持应用控制平面的功能，应用必须感知和调度哪个数据存储在哪个服务器上。这样，与内容缓存（ContentCaching）相反，应用可以对存储数据的放置（DECADE服务器的选择），删除（或者到期失效策略）和访问策略给予精确的控制。以数据的删除（到期失效策略）为例，一个应用可能要求服务器在相对短的时间段内存储内容（例如，直播流媒体数据），而另一个应用可能需要在一个更长的持续时间内存储内容（例如，视频点播）。6.1.5通过用户代理的资源和数据访问控制6.1.5.1资源分配
在DECADE系统中，有两个主要相互作用的实体。首先，存储提供者负责分配存储服务器和全部可获取的资源。其次，各类应用负责在可获取的服务器之间以及服务器和客户端之间调度数据传输。为了使8
小提示：此标准内容仅展示完整标准里的部分截取内容，若需要完整标准请到上方自行免费下载完整标准文档。