至顶网CIO与应用频道 11月15日 北京消息:2017年11月12日,备受业界期待的“第二届中国数据标准化及治理大会”在北京市万寿宾馆如约而至。作为中国大数据产业生态联盟专家委员会专家委员、国际数据管理协会(DAMA)会员,普元信息软件产品部副总经理、大数据产品总经理王轩,受邀出席会议并发表了题为《以自动化为核心的自服务大数据治理》的演讲。王轩现场剖析了普元在大数据产业领域中的实践经验,指出企业数字化转型中数据治理正从管控型向服务型转变,自动化已成为大数据治理的核心。
实践为先,普元强调大数据治理关键在于自动化的产品核心能力
演讲以“企业需要新一代大数据治理”、“如何实现自服务大数据治理”、“自动化是大数据治理的核心”三点立意展开。王轩指出,在企业数字化转型已成未来趋势、广泛大数据平台建设后企业深刻认识到数据治理重要性的背景下,管控型数据治理已不能解决现阶段企业的问题,数据治理应该从管控型向服务型转变,通过自服务大数据治理平台向全企业提供大数据的工作环境。
王轩详细剖析了为国网规划的以元数据驱动、有业务针对性的数据自助服务平台,东方航空以业务为中心的大数据治理建设,以及某政府部门的自服务数据治理平台,强调大数据治理关键在于自动化的产品核心能力,并用实践分析的方式解读了自动化支撑数据标准构建、规范系统数据模型、梳理企业数据架构、实现数据协同变更,直至形成大数据生产线来自动化配置与执行数据作业。
普元自服务大数据治理平台,“管、看、找、用”四大能力支撑企业数据自动化普元自服务大数据治理平台通过提供数据“管、看、找、用”四大能力,帮助企业解决数据不可知、数据不可控、数据不可取、数据不可联数据难题,实现面向数据全生命周期的自动化大数据治理,并且为金融、航空、能源、政府、电信、制造等各行业提供自动化的大数据治理方案。其中,“管”是指管理海量数据,保证数据的可靠性;“看”是指通过360°视图,多角度展示企业大数据;“找”是指以业务需求为起点,自助查找相关数据;“用”是指减轻IT人员负担,业务人员自助准备数据。
席卷而来的企业数字化转型迭新中,普元已经为中国五百余家企业提供了平台建设技术与服务。在大数据治理领域,普元凭借以自动化为核心的自服务大数据治理平台,用自服务的数据治理帮助企业点亮业务创新时代。
王轩演讲实录:
谢谢大家,各位来宾、各位领导,大家上午好。我是普元信息大数据产品部的负责人,在企业数字化的转型过程我们发现我们需要做一些新的创新业务,优化企业的业务,这个过程中数据变得越来越重要。然后我们再看整个国内的形势,我们发现这两年数据治理变得越来越热。
为什么会有这个形势?其实是数据越来越多地被使用,很多的客户跟我们说,原来基本上是按照报表、指标的要求做报表。但现在形势发生了很大的变化,很多业务部门主动找到数据部门说,我现在要做一个新的业务,你要在一天之内赶紧把数据给我。在这个过程中大家对数据的要求越来越迫切。
数据治理的经验基本上都是来自于银行,银行的数据治理形式,其实是一个非常强的管控型的。一般有非常强的管理流程和很多的管理规范,这之中往往会发现一个问题。大家觉得管控型的数据治理给大家增加了很多工作量的同时还没有解决问题。
到了现在大数据时代,我们来看现在的问题发生了什么样的变化。我总结了四个方面,第一个方面是数据不可知,过多的时候我们建大数据平台,建完平台以后我们发现业务部门不知道想要的数据在哪里,想拿数据的时候他很难自己直接的看到自己想要的数据,而要通过数据管理部去问,你到底可以提供什么样的数据。第二个,传统的质量问题依然存在,同时变得更加严重。我跟很多企业聊过,在大数据平台建立了以后,数据的管理范围变得越来越多,加入系统平台的系统越来越多,质量的问题其实会更厉害。第三个方面就是当应用系统需要大数据的时候,我们怎么能快速的把数据获得,这个问题一直没有解决。原来的问题是我在做报表,用数据平台做分析监控,现在是业务部门想要快速拿到数据,然后用数据发挥它的价值。最后是数据不可联,这是高级的需求。我们现在都在说知识,在讨论人工智能和机器学习,但如何把业务人员头脑中的知识和现有的数据关联在一起,怎么建立这种关联是空白的,大家都不知道。
原来数据治理的位置是什么,它是孤立在数据平台之外的,是起管控作用的。我们在画一张大的数据平台的图的时候,数据治理往往就是在这个平台上面或者下面的一条贯穿的横线。我们一直在思考怎么能够真正做好数据治理,我们现在在管控型的数据治理,做了这么长时间,往往失败的项目,做了十年以后发现没有用起来,使用的人很少。既然没有人使用,那你怎么能把你的数据管理好,难道就是数据管理部的几个人在用自己的流程吗?未来的数据治理应该是什么样的,我们应该从管控的角度出发,更多的想怎么样为用户提供服务,把数据治理做成不仅仅是上面的一个横条,而是作为整个平台到用户中间的竖条,作为一个中介。在这里头其实我们提供的是给全部企业的数据相关的用户,提供一个整体的工作环境。
在这个过程中原有的技术平台和原有的管理范围都发生了很大的变化,原来只是管理自己的数据平台,但是现在我们要向全企业提供服务,我们需要把数据治理的范畴扩大,包括结构化、非结构化的数据,包括所有企业的信息系统,甚至文件等一些内容,都需要在我们的数据治理平台中做管理。在这时候整个的数据治理平台从技术方面又有了新的要求,我们需要有更强的自动化采集能力,我们需要更好的把业务和我们的技术数据结合在一起,能够让大家看到数据是什么样的,最后达到我们向企业各方面服务的目标。
那么数据治理平台不应该只是管,而且应该从管、看、找、用,这四方面为企业用户提供价值。通过管、看、找、用,这一系列的过程我们升级大数据治理平台,让它不仅仅是企业的一个外置的管理管控平台,而成为整个数据平台信息的中枢,让大家在这个平台上把自己的数据用好。
在这个过程中我们说要做自服务,要把数据治理平台变成整个数据平台的核心。那原有的这种技术手段、产品能力,都需要进一步的升级。原来我们为什么不做?是因为我们缺少很好的自动化的技术,在现在这个时代我们再要做数据治理,没有自动化我认为是死路一条。我总结了五方面的自动化。
第一个是数据标准的构建,在数据标准的构建上原来我们是强梳理的过程,往往最后落地的时候出现问题,比如说马上银监会要检查,数据标准成了,但这样的标准数据真的能落地吗?是不可能的。标准不在好坏,在于是否适合你的企业。在每个企业里我们需要用这种自动的方式尽量把自己的资产梳理好,在梳理资产的基础上,总结出适应自己企业的数据,而不是拿别人的来做。在这个过程中更多用自动化的方式来做。有了标准以后我们怎么样落地,原来标准落地的方式有了标准给各个业务部门,说你需要设计模型的时候按我的标准来,但实际上到底怎么检查呢?还需要人工做对应,说这个标准跟哪个数据模型相关,这种管理方式实际上是不能把数据模型管理好的。而现在我们需要把整个的过程前置,前置在建模型的时候就要做标准的对应,并且要看跟现在的线上系统跟模型是不是一致。这也是自动化的过程,把人工的工作解放出来,用机器做好。
刚才说的这两点很核心的就是需要梳理企业的资产,这张图是我们产品里内置的自动化的采集器的不完全的列表,正是有这样的列表,我们才可能自动化采出这样的图,包括自动化的数据地图,自动化的业务设计,以流程为主的数据的设计,包括业务模型。
一系列的自动化让我们更好的了解资产,展示资产。当一个重要的数据变更以后,我们再也不需要到处走线下的纸制的流程,让各个业务部门确认了。而是自动化线上分析这个重要数据到底影响谁,影响程度什么样,这个数据变更,每一次数据变更都变成一个自动化过程。我们在有些银行里,每次流程业务人员说要修改数据,往往最后一步是数据的负责人批准说请修改,这样的过程不应该由我们来说请修改,而是自动化的让机器人完成,告诉业务部门这个流程会影响谁。
然后整个的生产中我们需要有自动化的能力,包括数据的获取、数据的准备,数据的服务开发,以及发布。形成一条自助的生产力,在这样一系列的自动化的指引下,我相信数据治理可以变得更好。我们也更容易在大数据时代把数据治理做好。
最后,发一点时间总结一下今天的内容。企业的数据治理未来一定是向服务化的发展方向,我们需要有服务化的思想,去想我们怎么能为业务服务,为开发服务,在服务的过程中给大家提供整个企业的工作环境,并且用自动化的能力把这一系列的事情做好。
好文章,需要你的鼓励
后来广为人知的“云上奥运”这一说法,正是从这一刻起走上历史舞台。云计算这一概念,也随之被越来越多的人所熟知。乘云科技CEO郝凯对此深有感受,因为在2017年春节过后不久,他的公司开始成为阿里云的合作伙伴,加入了滚滚而来的云计算大潮中。同一年,郝凯带领团队也第一次参加了阿里云的“双11”活动,实现了800万元的销售业绩。
随着各行各业数字化变革的不断深入,人类社会正加速迈向智能化。作为智能世界和数字经济的坚实底座,数据中心也迎来了蓬勃发展。面