云原生大数据平台未来的发展趋势是什么？
今天我们谈企业的数字化转型、精细化运营，我们实际上谈的核心是：数据。 「大数据」是近几年一个较为火热的技术词汇，国际数据公司 (IDC) 认为大数据有四个特征：海量 (Volume)、高速 (Velocity)、异构 (Variety) 和价值密度低 (Value)[1]。这也就意味着：面对这种复杂度高的数据，企业难以用常规的手段进行处理，让数据得以发挥价值。 大数据已经有了十余年的发展，从 2009 年流行的离线计算、2012 年的实时计算，再到 2015 年火热的机器学习，以及目前的主流方式：隐私计算、云原生。一个新的技术思想渐渐荷尖探头：数智融合。 那么，在数智化时代，云原生到底意味着什么呢？ 云原生首先是由 Matt Stine 提出并延用至今，基于 DCMC 技术体系（D: DevOps, C: Container, M: Microservices, C: CI/CD）去发挥云计算基础设施的优势[2]。 云原生灵活的资源供给特性，给数据处理的架构带来了新鲜血液。大数据并不一定需要在云原生的环境下才能发展，但是云原生能让大数据释放出更大的能量。 在这个背景下，「云原生大数据平台」顺势诞生：它可以充分利用云基础设施来解决超大规模数据的获取、管理、存储和分析，并在整个数据治理的过程中降本增效，实现数据驱动商业。 对企业而言，数据是最重要的资产，而云原生大数据平台的价值就在于：如何让平台更易用，让企业能更聚焦数据之间的关系，进而更好地利用数据。 当然，处理数据的系统或技术只是手段。我们在解决数据治理的问题时，关键点在于：面向数据。 基于这个原则，我们再结合市面上落地的技术，来分析数据价值化的最佳实践。 一般而言，一个完善的大数据产品矩阵，至少应该包含以下三个层级： 首届腾讯云大数据峰会 ，腾讯云大数据发布了从基础引擎、数据治理到应用分析的完整产品矩阵，各位想详细了解的话也可以看一下。 其中，底层的大数据基础设施为挖掘数据价值夯实基础，帮助构建数据资产一体化： 云数据仓库 CDW 是腾讯云实时云数仓品牌，旗下涵盖 CDW ClickHouse、CDWPostgreSQL、CDW Doris 等多款实时数仓引擎，覆盖 MySQL、PostgreSQL 生态，可以对海量数据进行即时的多维分析透视和业务探索，帮助客户快速构建企业云上数据仓库。 数据湖计算 DLC 提供了敏捷高效的数据湖分析服务。基于存算分离的产品架构体系实现数据资产统一建设，用户可以敏捷、低成本地管理和分析海量数据，打通数据孤岛，最大化释放数据价值。 在提升数据价值密度的中间阶段，依靠的是大数据平台工具：如数据开发治理平台 WeData 等。 WeData 是位于云端的一站式数据开发治理平台，融合了包含数据集成、数据开发、任务运维的全链路 DataOps 数据开发能力，以及数据地图、数据质量、数据安全等一系列数据治理和运营能力。 通过底层基础设施和中台服务的构建，才形成了上层如企业画像、智能数据分析、大数据可视交互系统等大家能轻松上手的数据应用工具。 三层由底到高，层层递进。 企业在进行「大数据」技术选型的时候，除了要关注数据的「大」，更要关心数据的「治」，也就是「数据治理」。 说起来看似轻巧，实际情况有「亿点点」复杂。 技术落地，需求先行。在数字化不同阶段，数据治理需要关注的核心需求是不一样的。 在腾讯内部，数据治理不仅有来自管理的挑战，还有来自技术和业务的挑战。 在数百条产品线、数万业务场景、总存储达到 EB 级的情况下，首要的一点是「组织支撑」：即基于 Oteam 协同构建全集团大数据统一体系。 在腾讯统一的数据平台体系中，数据资产化成为了可能，并在其上进一步赋予业务属性，建立数据服务生态。最后加持以新的技术能力，如机器学习、数智融合等，来挖掘数据价值，真正地通过数据驱动新的业务模式孵化和创新。 以 QQ 音乐为例，QQ 音乐每天承载着万亿级新增数据，PB 级的数据分析服务，大数据在其发展中占据了重要作用。尤其在包括业务数据分析、推荐系统、经营分析等重点项目上，起到关键的数据支撑。 在面对业务快速迭代的挑战下，QQ 音乐通过基于 CDW ClickHouse 实现了 OLAP 平台架构演进优化，实时数据日接入能力达到数百万亿以上，实时链路平均延时缩短在秒级以内，大幅提升了数据分析的时效性。 下图是 QQ 音乐敏捷数据平台架构： 数据中心主要承担了数据生命周期链路过程中平台化的建设，提升从数据采集 - 数据加工 - 数据存储 - 计算 - 应用管理各环节的数据使用效率，协同互补业务数据团队，为效果分析、个性化推荐、增长决策、内容评估等场景下提供数据服务平台。 从技术到产业的深刻变革，业界逐渐形成一个共识：算力是硬武器，数据治理是软实力。 数十年间，大数据产品的发展经历了从商业化软件购买、开源技术组件构建，到现在的开箱即用云原生大数据产品。 尽管云原生大数据有着巨大的价值收益，但二者技术的结合依然充满挑战。很高兴能看到腾讯云、NVIDIA、Alluxio、SelectDB 等多家大数据企业和开源社区，共同成立了云原生大数据技术生态联盟。 从用户和客户的角度而言，数字化浪潮是不可避免的趋势。对数据上云非常看重的一点还有「安全可信」。因此，隐私计算、多方加密是非常重要的能力。这也是数据未来的一个重中之重。 而在包括我在内的技术工作者看来，从开源到开放，做好服务和生态则是当下的重要任务。 