彭友们好,我是老彭啊。今天有个彭友问我:数据中台里也有数据治理很多功能可以直接替代数据治理吗?
唉…市场上一些数据治理的概念很小,有多小?他们所理解的数据治理始于数据仓库。
彭友问的问题其实是这一现象的显著代表。
你应该明白我想说什么:数据治理不仅仅是数据部门的工作!!!数据治理不仅仅是数据部门的工作!!!数据治理不仅仅是数据部门的工作!
端到端
我第一次听说端到端是我在供应链中看到的一个专业术语,现在我也从信息和数字领域学习。这意味着供应链管理应该从整个供应链的一端到另一端进行控制。
以蔬菜供应链为例,一端是农民,一端是蔬菜生产端,一端是消费者,一端是蔬菜消费端。
好了,我们用最简单的思维去理解,应该从哪里开始控制蔬菜的质量?进入批发市场吗?
显然,我们必须从农民开始,控制整个过程,好吗?进入市场后,开始控制,当发现问题时,很可能会有很多蔬菜转移到消费者的餐桌上。
数据生产端
其实很多数据治理项目做不到深入到“数据生产端”,并不是数据治理服务商们不懂,而是有很多因素的。
比如时间,金钱成本。
一旦深入到数据生产端,就意味着数据治理的成本会翻倍,短时间内看不到效果。
举个简单的例子,无论我们在哪个环节发现数据存在质量问题,我们如何解决?
一般来说,数据质量一般可分为几种情况:
1.由于数据不规范,可以在标准化后直接处理,如性别代码不统一,得到mapping表统一标准;
2.比较规律,比如名字里有空格,除了·对于其他特殊字符,梳理几个规则;
3.缺少或错误的关键信息,如姓名为空,身份证号码完全不符合规定。
其中,在与业务方确认规则后,数据工程师可以解决情况1和2。但数据工程师对情况3无能为力。
不管大数据技术有多强大,你都猜不出对方的名字和身份证号码是多少,不是吗?这是算命先生的业务范围。
此时,数据治理平台需要与业务系统连接,对各种渠道的数据进行分类,然后返回业务系统。
在收到业务系统中的信息后,让业务系统的人员开始另一个过程,通过与客户沟通和查阅其他信息来弥补。这里必须做的一件事是确认每个数据的所有权。
如果你读过华为的数据之道,你应该处理他们的数据Owner给人留下深刻印象。更深入的是,他们认为:业务是,是,是记录,记录是数据。
谁生产这个数据,谁就对这个数据负全部责任。因此,华为的每一个数据都有相应的业务部门负责管理。
这是数据生产端数据处理的典型案例。本来上游下游的垃圾为什么要下游捞?
数据应用端
《华为数据之道》里借用供应链的说法,把端到端的另一端叫做“数据消费”。我们这边还是叫数据应用端吧,跟咱之前写PPT给客户的数据应用层名称一直保持不变。要不总是出新名词,客户会很烦,我们也会费尽力去解释。
几年前最典型的应用是大屏幕,现在开始深入业务。这符合管理的一般规律:先服务高层,再逐层渗透。
因此,老彭判断公司数字化程度最简单的方法就是看他们的数字化是为谁服务的。
如果只服务于决策层,无论技术有多先进,投资有多大,数字渗透率仍然不够,都会渗透到管理层。
如果能深度结合各部门的实际业务,帮助各部门优化流程,渗透率已经比较高,可以称之为数据驱动型企业。
如果数字化已经嵌入到执行层的日常流程中,甚至达到离不开数字化手段的地步,就像武侠小说中的坐着走着都是功夫,达到了佛教中的坐着躺着都是禅的地步,可以称之为完全数字化。
数据处理需要以数据应用为目标,反向要求所有数据必须准确和及时。这是数据处理的核心目标。
因此,如何应用数据是数据治理的第一个问题。那么华为是如何解决这个问题的呢?
很简单,他们的数据应用不是数据部门想出来的,而是业务部门根据自己的业务想出来的。
因此,业务部门的数据Owner权限很大,负担也很重。数据部门的定位非常明确,不需要协调业务部门到处修复数据,不需要尽力帮助业务部门应用,只要做好中间数据处理。