国际大数据行业发展分析

　　近年来，全球大数据的发展仍处于活跃阶段。根据国际权威机构Statista 的统计和预测，全球数据量在 2019 年有望达到 41ZB。

图表：全球每年产生数据量估算图

　　2019 年以来，全球大数据技术、产业、应用等多方面的发展呈现了新的趋势，也正在进入新的阶段。本章将对国外大数据战略、技术、产业等领域的最新进展进行简要叙述。

　　（一）大数据战略持续拓展

　　相对于几年前，2019 年国外大数据发展在政策方面略显平淡，只有美国的《联邦数据战略第一年度行动计划（Federal Data StrategyYear-1 Action Plan）》草案比较受到关注。

　　2019 年 6 月 5 日，美国发布了《联邦数据战略第一年度行动计划》草案，这个草案包含了每个机构开展工作的具体可交付成果，以及由多个机构共同协作推动的政府行动，旨在编纂联邦机构如何利用计划、统计和任务支持数据作为战略资产来发展经济、提高联邦政府的效率、促进监督和提高透明度2。

　　相对于三年前颁布的《联邦大数据研发战略计划》，美国对于数据的重视程度继续提升，并出现了聚焦点从“技术”到“资产”的转变，其中更是着重提到了金融数据和地理信息数据的标准统一问题。此外，配套文件中“共享行动：政府范围内的数据服务”成为亮点，针对数据跨机构协同与共享，从执行机构到时间节点都进行了战略部署。

　　早些时候，欧洲议会通过了一项决议，敦促欧盟及其成员国创造一个“繁荣的数据驱动经济”。该决议预计，到 2020 年，欧盟国内生产总值将因更好的数据使用而增加 1.9%。但遗憾的是，据统计目前只有 1.7%的公司充分利用了先进的数字技术。

　　拓宽和深入大数据技术应用是各国数据战略的共识之处。据了解，美国 2020 年人口普查有望采用差分隐私等大数据隐私保护技术来提高对个人信息的保护。英国政府统计部门正在探索利用交通数据，通过大数据分析及时跟踪英国经济走势，提供预警服务，帮助政府进行精准决策。

　　（二）大数据底层技术逐步成熟

　　近年来，大数据底层技术发展呈现出逐步成熟的态势。在大数据发展的初期，技术方案主要聚焦于解决数据“大”的问题，ApacheHadoop 定义了最基础的分布式批处理架构，打破了传统数据库一体化的模式，将计算与存储分离，聚焦于解决海量数据的低成本存储与规模化处理。Hadoop 凭借其友好的技术生态和扩展性优势，一度对传统大规模并行处理（massively parallel processor, MPP）数据库的市场造成影响。但当前 MPP 在扩展性方面不断突破（2019 年中国信通院大数据产品能力评测中MPP大规模测试集群规模已突破 512 节点），使得 MPP 在海量数据处理领域又重新获得了一席之位。

　　MapReduce 暴露的处理效率问题以及 Hadoop 体系庞大复杂的运维操作，推动计算框架不断进行着升级演进。随后出现的 ApacheSpark 已逐步成为计算框架的事实标准。在解决了数据“大”的问题后，数据分析时效性的需求愈发突出，Apache Flink、Kafka Streams、SparkStructured Streaming等近年来备受关注的产品为流处理的基础框架打下了基础。

　　在此基础上，大数据技术产品不断分层细化，在开源社区形成了丰富的技术栈，覆盖存储、计算、分析、集成、管理、运维等各个方面。据统计，目前大数据相关开源项目已达上百个。

　　（三）大数据产业规模平稳增长

　　国际权威机构 Statista 在 2019 年 8 月发布的报告显示，预计到2020 年，全球大数据市场的收入规模将达到 560 亿美元，较 2018 年的预期水平增长约 33.33%，较 2016 年的市场收入规模翻一倍。随着市场整体的日渐成熟和新兴技术的不断融合发展，未来大数据市场将呈现稳步发展的态势，增速维持在 14%左右。在 2018-2020 年的预测期内，大数据市场整体的收入规模将保持每年约 70 亿美元的增长，复合年均增长率约为1 5.33%。

图表：2016-2020 年全球大数据市场收入规模预测

　　从细分市场来看，大数据硬件、软件和服务的市场规模均保持较稳定的增长，预计到 2020 年，三大细分市场的收入规模将分别达到150 亿美元（硬件）、200 亿美元（软件）、210 亿美元（服务）。

　　具体来看，2016-2017 年，软件市场规模增速达到了 37.50%，在数值上超过了传统的硬件市场。随着机器学习、高级分析算法等技术的成熟与融合，更多的数据应用和场景正在落地，大数据软件市场将继续高速增长。预计在 2018-2020 年间，每年约有 30 亿美元的增长规模，复合年均增长率约为 19.52%。大数据相关服务的规模始终最高，预计在 2018-2020 年间的复合年均增长率约为 14.56%。相比之下，硬件市场增速最低，但仍能保持约 11.80%的复合年均增长率。从整体占比来看，软件规模占比将逐渐增加，服务相关收益将保持平稳发展的趋势，软件与服务之间的差距将不断缩小，而硬件规模在整体的占比则逐渐减小。

图表：2016-2020 年全球大数据细分市场收入规模预测

　　（四）大数据企业加速整合

　　近两年来，国际具有影响力的大数据公司也遭遇了一些变化。

　　2018 年 10 月，美国大数据技术巨头 Cloudera3和 Hortonworks4宣布合并。在 Hadoop 领域，两家公司的合并意味着“强强联手”，而在更加广义的大数据领域，则更像是“抱团取暖”。但毫无疑问，这至少可以帮助两家企业结束近十年的竞争，并且依靠垄断地位早日摆脱长期亏损的窘状。而从第三方的角度来看，这无疑会影响整个 Hadoop的生态。开源大数据目前已经成为互联网企业的基础设施，两家公司合并，意味着 Hadoop 的标准将更加统一，长期来看新公司的盈利能力也将大幅提升，并将更多的资源用于新技术的投入。从体量和级别上来看，新公司将基本代表 Hadoop 社区，其他同类型企业将很难与之竞争。

　　2019 年 8 月，惠普（HPE）收购著名大数据技术公司 MapR 的业务资产，包括 MapR 的技术、知识产权以及多个领域的业务资源等。

　　MapR 创立于 2009 年，属于 Hadoop 全球软件发行版供应商之一。专家普遍认为，企业组织越来越多以云服务形式使用数据计算和分析产品是使得 MapR 需求减少的重要原因之一。用户需求正从采购以Hadoop 为代表的平台型产品，转向结合云化、智能计算后的服务型产品。这也意味着，全球企业级 IT 厂商的战争已经进入到了一个新阶段，即满足用户从平台产品到云化服务，再到智能解决方案的整体需求。

　　（五）数据合规要求日益严格

　　近两年来，各国在数据合规性方面的重视程度越来越高，但数据合规的进程仍任重道远。2019 年 5 月 25 日，旨在保护欧盟公民的个人数据、对企业的数据处理提出了严格要求的《通用数据保护条例》（GDPR）实施满一周年，数据保护相关的案例与公开事件数量攀升，同时也引起了诸多争议。

　　牛津大学的一项研究发现，GDPR 实施满一年后，未经用户同意而设置的新闻网站上的 Cookies 数量下降了 22％5。欧盟 EDPB 的报告显示，GDPR 实施一年以来，欧盟当局收到了约 145000 份数据安全相关的投诉和问题举报；共判处 5500 万欧元行政罚款。苹果、微软、Twitter、WhatsApp、Instagram 等企业也都遭到调查或处罚。

　　GDPR 的正式实施之后，带来了全球隐私保护立法的热潮，并成功提升了社会各领域对于数据保护的重视。例如，2020 年 1 月起，美国加州的消费者隐私法案（CCPA）也将正式生效6。与 GDPR 类似，CCPA 将对所有和美国加州居民有业务的数据商业行为进行监管。

　　CCPA 在适用监管的标准上比 GDPR 更宽松，但是一旦满足被监管的标准，违法企业受到的惩罚更大。2019 年 8 月份，IAPP/OneTrust对部分美国企业进行了 CCPA 准备度调查，结果显示，74％的受访者认为他们的企业应该遵守 CCPA，但只有大约 2％的受访者认为他们的企业已经完全做好了应对 CCPA 的准备。除加州 CCPA 外，更多的法案正在美国纽约州等多个州陆续生效。
本文摘自中国信通院发布的《大数据白皮书（2019）》，如摘编或利用请注明出处。