随着数字经济的快速发展,2024年将迎来全新的商机风口。数据治理、数据平台和应用场景被视为数字经济的三驾马车,它们将成为推动商业创新和增长的关键。本文将深入探讨这三个关键要素在数字经济中的作用,并分析它们为未来商机带来的影响。
01
2023年度国内数据要素相关政策
刚刚过去的2023年对数字经济和数据要素相关产业来说,标志着一个历史性的转折点,在这一年里,自年初十六部委联合发布《关于促进数据安全产业发展的指导意见》以来,到下半年国家数据局正式挂牌运作,数据要素市场的发展步伐显著加快。这一年里,中共中央、国务院印发了《数字中国建设整体布局规划》,将数据要素放到一个更为宏大的“数字中国”蓝图中;财政部出台了《财政部发布《关于印发<企业数据资源相关会计处理暂行规定>的通知》(“数据入表”)、《会计师事务所数据安全管理暂行办法》,“数据入表”为数据要素市场加了一把“火”;国家数据局出台了《数据要素X三年行动计划(2024-2026)》,选取12个行业和领域,推动发挥数据要素乘数效应,释放数据要素价值。2024年刚开年,全国各地就掀起了一股省级数据局挂牌的热潮。 据不完全统计,全国已有19个省份相继挂牌成立数据局,数据局的“掌门人”也随之亮相。多个省级数据局的成立,意味着国家数据局在地方有了“抓手”,也标志着我国对数据资产的重视程度提升到了新的高度。
02
三驾马车:数据治理、数据平台和应用场景
数据具有劳动对象和生产要素双重属性,当数据作为劳动对象属性时,数据可以与算力、算法及其它要素(如组织、市场、人才等)共同构成数字生产力核心要素。其中算力是生产工具,算法是劳动方法。
场景、数据生产要素和数字生产力在数字经济价值链中相互作用,并共同推动了数字经济的增长和价值创造。
1、数据治理:治理作为劳动对象和生产要素的数据
无论数据作为劳动对象还是生产要素,数据治理是基础和基石。参考之前文章《数据治理:数据资产入表和数据要素市场化的基石》。
当数据作为劳动对象属性时,它可以看成是这个原材料和半成品,并参与到价值创造过程,即生产、加工和增值环节,形成新的数据产品。数据产品可以是成品也可以是半成品。
数据作为生产要素,是数字生产力的基石,它不断地通过其可被分析和挖掘的属性来赋能其他生产要素,比如优化算法的性能,或者提高算力的应用效率。更精确、高质量的数据可以提高数字生产力,因为它能使算法更精准地工作,实现更优的结果。
2、数据平台:数字生产工具和劳动方法的基础底座
在数字经济时代,数据平台既是生产工具,也是劳动关系。算力和算法是数据平台的重要支撑,为数据平台提供了核心的支持。
传统生产时代中的机械工具相似,算力是数字化时代用于处理和分析数据的基础设施。强大的计算能力可以支持大量数据的实时处理,使得数据分析、机器学习、人工智能等技术得以实现。数据平台强大的算力能够处理来自于不同产业、不同规模、不同格式的巨量数据,这对于实时数据处理、智能决策支持和长期数据分析至关重要。有效的算力保障可使平台在处理大规模跨领域数据时,依然能确保高效率和准确性。
如果将算力看成工具,那么算法就是使用这些工具的方法和技巧。算法是用来处理数据的计算方法和模型,是实现复杂任务自动化和智能化的关键。通过优化算法,可以提高生产流程的效率和质量,实现复杂问题的解决方案。
3、数据应用:场景融合数字生产力和数据要素实现数字经济价值
在数字经济时代,场景不仅仅是生产活动的背景描述,它还塑造了生产过程中的合作模式、价值交换方式和社会关系,是数字经济时代生产关系的重要体现。场景促进不同参与者之间的协同,形成数字商业生态系统。
场景可以理解为生产关系,即指数据、算力和算法生产价值的具体应用环境和背景。不同的场景在自由竞争、自由配置资源方面是有区别的,并对数据要素有不同的要求和使用方式,因此会有不同数据实际价值和定价模式,如不同时间、不同行业、不同区域相同数据产品的定价可能不同。
03
数据治理:以治促用、以始为终、以终为始
从数据资产的加工过程及不同特性来看,我们不难发现数据的质量因素与数据的价值息息相关。同时,在数据的整个发展阶段,其对应应用场景的经济性和多维性亦在数据资产价值中起着至关重要的作用。
1、数据质量对数据资产价值的影响
准确性、唯一性:主要取决于数据的来源。真实准确不重复的数据必将能够转化为稳健可靠的商业化成果,从而提升数据资产的价值。
完整性:若数据充分、完整、可持续利用程度高,则可以大大减少企业补充遗漏数据及后续年度循环重复使用的成本。
时效性、及时性:及时获取高时效数据,对于企业各方面的运营都至关重要。
2、数据发展阶段对数据资产价值的影响
在初级阶段,数据资产还仅仅为原始未加工数据的形式,尚未有具体匹配的商业化场景,价值可能仅限于其开发成本。经过一定的加工,数据资产在初步找寻到适用的商业化场景后,即具有了一定的盈利模式,其价值显著增加,但仍存在不确定性。最终,经过多次尝试,数据资产的商业化场景得以确定,多数的不确定性消除,数据资产价值显著增加实现最大化。
3、应用场景对数据资产价值的影响
明确可界定的商业化应用场景决定了数据资产是否具有价值。在不同的商业场景下,数据资产也将发挥不同的作用,实现不同的价值。企业应当尽可能探索数据资产所适用的各种场景,如果场景之间是兼容的,则可以探索出数据资产在各个场景下的价值,综合考虑场景兼容程度,最终综合得到数据资产的总体价值。
4、数据标准对数据资产价值的影响
数据标准提供了数据定义、格式和交换的共同规范。在数据资产入表过程中,统一的数据标准使得资产的度量、分类和报告变得可能,也为数据资产的审计和比较提供了基准。数据资源的分类,是数据资源的列示的前提,也是数据资源的管理的依据,而数据资源的标准,是数据资源的分类的依据,也是数据资源的区分的标准。
5、数据生存周期对数据资产价值的影响
数据生命周期管理是指从数据创建、存储、使用到最终销毁的全过程中对数据的管理。这个过程中的数据治理工作对数据资产的价值评估至关重要,因为只有在整个生命周期中保持数据的高质量和准确性,数据资产的价值才能得到有效评估。可靠的数据生命周期管理保证了数据在有效期内始终保持价值,为数据资产提供了稳定而准确的评估依据。
6、数据安全对数据资产价值的影响
合法合规是数据资产使用的基本前提,企业正面临日趋严苛的数据合规监管,一旦违法,企业的数据资产价值可能清零,合规合法则将为数据资产价值保驾护航;数据资产的使用还将面对舆论的监督,不合理的运作方式可能会引来舆论的谴责,丧失客户关系。
04
数据平台:湖仓一体化平台是数据平台新趋势
先看看湖仓一体技术发展的三个阶段:
第一代:以数据仓库为核心的平台。因为数据仓库是只能支持结构化数据,无法支持更多类型的数据,比如视频、音频、文档等。
第二代:数据湖+数据仓库的两层架构。从原始数据到数据湖,从数据湖到数据仓库,需要经过额外的ETL,不但增加了数据出错的几率,而且增加了成本和时间。
第三代:湖仓一体,深度融合,可以看成全部封装好了,然后对外提供统一的服务。
湖仓两层架构中,左图展示了湖仓的分离特性,可以认为1+1=2,甚至小于2。这种架构需要进行额外的工作,比如ETL,来使数据湖和数据仓库能够无缝对接。然而,这种分离架构面临元数据较难统一的挑战,并且需要分别对接不同的计算引擎,这会带来重复的数据开发成本以及数据冗余和一致性问题。
相对而言,湖仓一体平台类似于在湖边建立各类仓库,如数据分析仓库、机器学习仓库、搜索引擎仓库、数据API服务仓库等。这种一体化架构实现了数据仓库和数据湖的数据/元数据无缝打通和自由流动,避免了之前分离架构中的问题。一体化平台在上层应用中起到了协同平台的作用,也可以理解为一个黑盒子,为数据开发提供了便利。
湖仓一体化平台的趋势和优势
1、可同时服务 BI 和 AI 场
比如我想知道在各指标在BC联动场景应用中价值贡献的权重,或想设置销售因子在企业经营绩效中各自所占的权重。如果通过湖仓一体化平台和大模型结合可以实现,但传统数据中台难以实现。
2、高度综合数据协同性
传统数据中台通常在资源成本、数据新鲜度和性能方面难以兼得。湖仓一体化大数据平台通过数据管理和处理手段,促使数据新鲜度、资源成本和查询性能实现高度的协同作用,形成一个相互依存、相互促进的综合数据协同体系。通过综合数据协同性,湖仓一体化平台可以实现实时性和延迟性数据并存,同时最大化资源利用率,提升查询性能。
3、资源弹性伸缩
西方人理解阴阳和一二,他们认为一就是一,二就是二,是二个东西;中国人的基因是阴中有阳、阳中有阴,可以相互转化。传统数据中台的资源分配是西方人思维,有你没我,有我没你,是非此即彼的关系。如A公司增加多少资源,B公司就会减少多少资源,属于点对点的拆借。湖仓一体化的资源弹性伸缩,类似中国人思维,你中有我,我中有你,大家可以一增一减,也可以是同增同减,类似央行统一资源池,统一调度和拆借。
4、离线和实时一体化
传统数据中台开源组件,需要离线、实时同步多组件架构,各组件之间协同性难以把控,架构复杂、高部署维护成本和高数据治理成本,性能链路复杂,有性能瓶颈。湖仓一体架构演进,离线 + 实时 一体化架构。
离线 + 实时 一体化架构,也可以简单理解为批流一体化,即同时支持离线和实时计算。我们可以将数据湖比喻为一个堰塞湖,湖水顺着山体流向下游,而山体上布满了各种洼沟。当水流到达第一层洼沟时,它会首先横向渗透洼沟,这个过程可以看作是批处理过程。
当第一层洼沟填满水后,水会流向下一层,同样经历横向渗透洼沟的批处理过程。这一层层渗透向下的过程类似于数据仓库中的原始数据层(ODS)、数据集成层(DWD)、以及应用数据层(ADS)。
当各层洼沟都被水填满时,如果上游水流持续流淌,那么我们会看到水实时垂直流向下一层(即实时处理),同时也会在各层洼沟中波动(批处理)。从效果上来看,这就是实时处理和同步处理同时进行,融合为一个整体系统。
05
数据应用:数据入表带动数据场景运营闭环
对企业或组织来说,数据治理是基石和规划,数据平台建设是搭平台和构建数据底座(当然也可以自建数据平台或采用全托管的数据平台),数据应用是目标和结果,构建数据驱动业务的闭环。
数据应用企业或组织依据自身情况各有侧重,但通常会从营销端入手,酒业可能会从渠道数字化和BC一体化入手,并逐渐实现由内而外的数据要素市场化流通。参考之前文章《数字化转型始于营销,企业数字化转型的三个层次:需求侧、供应侧和生产侧数字化 》。
2024年最直接的抓手还是数据资产入表。数据入表,是一件自上而下的工作,需要公司最高层来确定和立项。一个企业如果过去没有做过数据资源的挖掘,那么商业模式的重构就会变得无比重要。至少针对单项的数据资源的业务模式需要做对应的梳理。
数据入表,是数据资源进行资产化的过程。每个环节需要参与的团队如下:
由于整体的数据产品的确定关系到战略的定位,数据资产未来应该定位为企业战略级资产。对于企业来说,数据入表是一项企业战略级别的工作,落地工作需要数据部门、IT部门、财务部门、业务部门的共同参与。
通过数据治理,实现将数据资源产品化、数据产品资产化,并最终将数据资产资本化。通过数据驱动的场景应用,我们可以让数据真正产生价值。同时,场景应用产生的结果数据以及新的数据将作为数据治理的数据源,逐渐形成一个无始无终、无先无后的全域闭环。
在这个过程中,似乎产生了一个类似“先有鸡还是先有蛋”的问题。然而,从早期某个特定的时间节点或更高层次的视角来看,我们确实可以分清楚是先有鸡还是先有蛋,因为最kai开始是有始有终和有先有后的。通过数据治理和数据平台,我们能够让数据在不断循环中持续创造和产生价值。
06
结语
数据治理、数据平台和应用场景这三驾马车在数字经济中将扮演愈发重要的角色,成为商业发展和创新的关键。在2024年,这些领域将迎来蓬勃发展,推动组织(企业、政府等)在数据治理咨询(培训)、数据平台建设、数据确权、DCMM贯标、数据资产评估、数据资产入表咨询(培训)等数字新商机。
然而,目前大部分企业和组织尚未真正开始数据治理,缺乏数字化意识,因此在当前大环境下难以投入更多资金来进行数据治理和大数据平台的建设。
要解决这个难题,各省的数据局、地方政府(如财政部门、科技局等)以及国家部门(如财政部、国家数据局)可能会成立专项资金,用于支持和鼓励企业开展数据治理、数据平台建设,以及与数据资产入表相关的数据确权、数据质量评估、数据资产评估等服务。这将会有效带动数据经济发展,直接或间接地促进企业收入增长,创造就业机会,并逐步实现传统经济向数字经济的软着陆。