【GB国家标准】 信息技术 大数据 大数据系统基本要求

GB/T 38673—2020 信息技术 大数据 大数据系统基本要求 Information technology—Big data—Basic requirements for big data systems 发布日期：2020-04-28 实施日期：2020-11-01 国家市场监督管理总局 国家标准化管理委员会 前言 本标准按照 GB/T 1.1—2009 给出的规则起草。 请注意本文件的某些内容可能涉及专利。本文件的发布机构不承担识别这些专利的责任。 本标准由全国信息技术标准化技术委员会 (SAC/TC28) 提出并归口。 本标准起草单位：中国电子技术标准化研究院、华为技术有限公司、北京大学、中国人民大学、中兴通讯股份有限公司、浪潮电子信息产业股份有限公司、阿里云计算有限公司、天津南大通用数据技术有限公司、北京百分点信息科技有限公司、复旦大学、南京大学、东南大学、北京和仲宁信息技术有限公司、北京启迪区块链科技发展有限公司。 本标准主要起草人：梅宏、孙文龙、杜小勇、吴东亚、董建、张群、尹卓、许洁、李冰、李瑛、高琨、朱松、赵江、张展新、梁佳男、赵俊峰、符海芳、卫凤林、孙嘉阳、赵菁华、陈晋川、刘海军、孙伟、姜育刚、周志华、张敏灵。 目次 1 范围 2 规范性引用文件 3 术语和定义 4 缩略语 5 大数据系统框架 6 功能要求 6.1 数据收集模块 6.2 数据预处理模块 6.3 数据存储模块 6.4 数据处理模块 6.5 数据分析模块 6.6 数据可视化模块 6.7 数据访问模块 6.8 资源管理模块 6.9 系统管理模块 7 非功能要求 7.1 可靠性要求 7.2 兼容性要求 7.3 安全性要求 7.4 可扩展性要求 7.5 维护性要求 7.6 易用性要求 1 范围 本标准规定了大数据系统的功能要求和非功能要求。本标准适用于各类大数据系统要求的设计、选型、验收和检测。 2 规范性引用文件 下列文件对于本文件的应用是必不可少的。凡是注日期的引用文件，仅注日期的版本适用于本文件。凡是不注日期的引用文件，其最新版本（包括所有的修改单）适用于本文件。 GB/T 35295—2017 信息技术 大数据 术语 GB/T 35589—2017 信息技术 大数据 技术参考模型 3 术语和定义 GB/T 35295—2017 界定的以及下列术语和定义适用于本文件。为了便于使用，以下重复列出了 GB/T 35295—2017 中的某些术语和定义。 3.1 大数据系统 (big data system) 实现大数据参考体系结构的全部或部分功能的系统。[GB/T 35295—2017，定义 2.1.14] 3.2 分布式计算 (distributed computing) 一种覆盖存储层和处理层的、用于实现多类型程序设计算法模型的计算模式。注：分布式计算结果通常加载到分析环境。MapReduce 是数据分布式计算中默认的处理构件。[GB/T 35295—2017，定义 2.1.22] 3.3 集群 (cluster) 一组相互独立的、通过高速网络互联的计算机或服务器。 3.4 租户 (tenant) 对一组物理和虚拟资源进行共享访问的一个或多个云服务用户。 4 缩略语 下列缩略语适用于本文件。 API：应用程序接口 (Application Programming Interface) CPU：中央处理器 (Central Processing Unit) DAG：有向无环图 (Directed Acyclic Graph) OLAP：联机分析处理 (On-Line Analytical Processing) REST：表述性状态转移 (Representational State Transfer) SQL：结构化查询语言 (Structured Query Language) 5 大数据系统框架 GB/T 35589—2017 定义了大数据参考架构。大数据参考模型是一个通用的大数据系统概念模型，它表示了通用的、与技术无关的大数据系统的逻辑功能构件及构件之间的互操作接口，作为开发各种具体类型大数据应用系统架构的通用技术参考框架。 该架构包含：信息价值链、系统协调者、大数据应用提供者（涵盖收集、预处理、分析等环节）、大数据框架提供者（包括提供计算和分析的处理框架：如批处理、流处理；提供数据组织与分布的交互平台：如索引存储、可视化；以及基础设施：提供网络、计算、存储、虚拟资源等）。