风险数据集市建设

ZDNET至顶网CIO与应用频道 07月22日 北京消息：随着中国金融市场的快速发展，金融行业竞争形态的持续演化，以及监管力度的不断加强，IT咨询服务公司对金融企业的商业智能解决方案，也面临着不断的创新。

在主题为“乘数据之舟，达价值彼岸”的文思海辉商业智能解决方案研讨会上文思海辉金融事业群总监辜敏在风险管理之道分论坛分享了风险数据集市建设。

以下为演讲实录：

所谓的风险管理就是风险的识别、计量控制和管理的过程。整个风险管理与数据密切相关。风险有信用风险、市场风险、操作风险等等。每一个风险都需要有自己的数据需求，作为风险数据集市重点讨论的是作为IT或者是作为风险数据集市管理部门，如何从数据上规划好做好数据架构和数据的流转？以及控制好数据质量，为每一个风险应用提供及时、准确有效的数据，来确保风险应用有效的实施。

谈到风险管理不得不提巴塞尔协议，它现在已经是整个银行风险管理纲领性文件。对于商业银行来讲巴塞尔协议实施两个意义，一个是满足监管的要求。监管部门希望通过协议的实施规避出现的金融风险，避免对整个经济和社会造成比较大的影响。

另一个角度来讲，我们跟银行交流的时候他们也说，巴塞尔协议集合的是整个国际先进风险管理的理念。巴塞尔协议实施是有助于银行提高风险管理水平。最终体现的还是一个长期的盈利水平的提升和股东价值最大化。

为了响应监管的要求以及提升自身的管理水平，各家银行也在陆续推动协议实施工作。目前国内实施情况来看，第一梯队银行基本上完成了相关应用的建设，也都完成了整个银监会的检查，还有一部分银行正在事实过程中。对于一些小的城市商业银行，他们可能还在起步的阶段。

对于整个新资本协议来讲，它的核心是对数据的计量，管理和分析。所有的这些都是有数据支持的需要。通常情况下可以想像，在银行不同的风险应用一般由不同的部门负责管理。相关风险应用也是由不同的部门牵头完成的，假如说行方没有统一的规划，不同的业务部门做风险业务建设的时候，可能更多的会从自身风险要求出发。他们在做应用建设的时候会从满足个性化要求，和实效性要求出发，对相关数据做整理，通常会做单独的数据集市。随着数据的建设很多家银行在完成风险应用建设的时候，面临风险相关数据的现状。比如说有操作风险集市、有市场风险集市，有经营孟风险等等，都会建立独立的集市。这种情况下我们认为这不是一个非常合理的数据架构，在这种架构下面临什么样的问题呢？

第一，对于数据仓库来讲，需要支持多个风险应用。通常情况下，风险应用有自己的个性数据需求，但是他们有很多数据需求是共性的。对于仓库来讲，相同的数据就可能面临抽取很多次，相同的数据给操作风险供一份，市场风险供一份。这样数据集市维护起来非常复杂和困难。而且新能的浪费也是比较严重的。

第二，在这种情况下，各个应用相对来说互相独立，他们独立从数据仓库拿数据，对自己的要求对风险指标进行计算，有可能同样的指标面临多个数据集市都来加工的情况，这也是资源浪费。

第三，做过数据仓库的比较理解，仓库模型是以数据为启动的，不是以业务员表示的。每一个风险集市建立的时候，势必要理解模型，这种情况下开发效率是比较低的。

第四，同样的指标不同的应用集市需要单独加工。这就面临一个问题，在不同的应用集市里面有可能采用的口径不一致。这种情况下整体风险管理角度来讲，会发现同一个风险指标算出来的应用不一样，到底听谁的？这就是面临着一个比较直接的问题。

第五个，比如我算RWA，应用之间通常会有一些数据交互，这种情况下可能会相互之间进行数据传输，这种情况下应用之间接口会非常复杂。一个变动涉及到多个系统进行相关的改造，维护成本是比较搞得。

第六，大家知道巴塞尔对数据历史是有存储要求的。比如有5到7年的存储要求。这种数据架构下，每一个应用都会根据监管的要求来存储一定时段的历史数据，这也是相当于资源的浪费。

这六点是这样的数据架构下所面临的问题。这也是我们引申出了我们要建立一个统一的数据集市。监管部门对数据集市建设有了统一要求，数据架构的要求，建立数据仓库，以获取清晰、转换和存储满足内部评级要求的内部和外部数据。我们给风险数据集市做了一个定位：我们认为它是在基础数据平台基础之上，以风险业务驱动为主，数据驱动为辅的多层次数据访问体系。

可以从四个点来看：第一全行所有风险相关数据的统一收集、整理和存储。这是一个平台。第二，由于风险数据集市配备的性能比较高，所以我们尽量避免大数据量的搬迁。所以这个原则在整个数据集市里面也适用，对于大数据量模型的计算加工，我们会结合客户的需要建议其中一部分，在风险数据集里面去实现。第三，风险数据集市会收集各个风险应用所产生的风险计量结果，返回到风险数据集市里面做存储。第四个定位就是数据质量的管控。

风险数据集市要支持哪些应用？比如说下游到底有哪些需要？风险数据集市如何支撑？市场风险需要外部数据和各种曲线数据，还包括做市场风险计量的内部模型法。还有模型实验室，主要是零售类品和非零售类品的开发，和监管报表和内部管理报表。主要需求是零售数据集市需要满足的条件。

风险数据集市架构示例：这些数据通过数据采集平台进入ODS或者EDW，进入风险数据集市里存储，风险数据集市分四层存储。第一就是所有数据进来先存在基础层，之后有一个初步的汇总，汇总层一方面支持报表的分析另一方面也是支持风险应用的需要。汇总层之上有一个指标层，是对关键风险应用指标做进一步加工汇总，再上面是大数据的模型计量层。最终是一个风险门户的概念，可以做一些多维分析、数据报表类的多种方式的展现。模型实验室它的数据是由风险数据集市批量提供，支持各种模型建设和评估工作。

还有一块是关于有可能风险所需要的数据目前业务系统还没有办法完全满足，有一块数据需要手工应急补录进入风险集市。这是一个大的逻辑架构，基于这个架构可以看看数据的流转，通过这个流转可以知道风险数据集市的定位。

比如原系统数据和WEB系统数据，业务系统数据会通过采集平台进入基础数据平台。从基础数据平台通过按照风险数据集市的接口，把这些数据通过数据交换平台进入到风险数据集市的基础层。进入基础层是第一步，是针对行内的业务系统，还有一些应急补录数据，会进入到应急补录区，跟基础层分开存储，一般情况下我们建议，比如某一个应用需要，我们会在应用接口层对行内数据和基础数据做一个整合。第三个是相关基础数据会进入到产品或者计量引擎里面做计算。计算的结果会反馈到计量结果区域，返回来之后相关模型剂量结果和基础数据，会通过整个数据交换平台传递到资本计量系统，做数据质量核查和监管资本的计算。计算完之后我们可以根据资本剂量结果生成数据，所有计量结果会返回到风险数据集市计量结果进行存储。这些数据会按照下游需要和生成报告需要，帮助生成内部管理的报告。

对于风险数据集市内部：有数据库有基础层，我们会把它分成11个主题比如对公的、零售的、有价证券、风险计量结果等等。然后会按照协议结构等做一个汇总。所有风险指标加工结果都会在这儿做存储。

仓库模型和风险数据集市，仓库以数据驱动，风险数据集市以业务驱动。风险数据补录：我们会开放数据库平台，通过在线填报的方式把相关数据补录进去。包括按照下游风险的要求，为下游提供相应数据。

下游风险应用所计算的结果，如果需要共享给其他的下游，会返回到整个风险数据集市，由风险数据集市转给其他的系统。还有一些回流到基础数据平台再进行结果共享。

风险数据集市包括风险相关基础数据和各个风险应用计量的结果，是整个风险数据的集成，包括标层的计算，基于这样的指标，相当于全行风险价值仓管理，可以做一个全面监控和预警。

风险数据管控的内容包括风险数据集支开发过程中如何保证数据质量？要考虑数据标准还要考虑数据质量和元数据。比如我们在平安银行做的时候会先制订风险相关的数据标准，然后怎么在风险集市落地？比如设计模型的时候，中文名、英文名，长度都是遵循标准设定的。在标准里代码也会做标准，标准也会在风险数据集市设计过程中类地。一些关键指标也会设置标准，会根据数据标准定义的结果来进行风险指标的加工。

关于数据质量，我们首先有数据标准，也有元数据分析，我们可以通过手动的方式，根据业务的要求，手动生成一些规则。我们也可以对一些技术性的检查手段自动生成一些规则。我们在开发过程中也会发现一些数据质量的规则。这三方面的规则可以在这儿做一个部署，这里是整个数据风险集市的调度任务，在这里可以做数据入库前和入库后的检查，对重大问题是禁止风险数据集市的调度。这样可以保证事前做到非常严格的控制，同时事后也可以做到相关数据质量控制。

我们要控制风险数据集市的数据质量，还要往前追溯到数据仓库和元系统都要部署相关规则。如果通过数据质量管理平台发现数据问题的话，可以通过元数据管理平台做分析。因为元数据平台记录了业务系统到ODS到EWD，到风险应用集市整个数据流转的影射关系。如果发现有问题，我可以通过元数据平台帮助我们分析问题出在哪里。我们做了标准之后，会做标准和风险数据集市的影射关系，通过这个可以知道符合标准化的程度，未来可以推进它持续的标准化。

为什么要建风险数据集市？风险数据集市可以整合所有风险应用的信息需求，统一完成从数据仓库到风险数据集市的数据抽取。这样避免了数据仓库同时面对多个数据应用集市，降低了系统之间的复杂程度，节省了系统运算资源。第二，风险数据集市对各类风险应用共用的数据进一统一计算和加工，确保了风险数据集市的质量。第三，风险数据集市从业务角度出发，根据风险应用的特点，对数据仓库的数据进行了相应的整合和汇总，以贴近业务，更易理解的方式提供给各类风险应用集市。第四，风险集市可以提升数据共享，大大的减少系统复杂程度。第五，风险数据集市，五到七年的数据可以统一由风险数据集市存储，这样有效节省了IT资源。

风险数据集市的定位是统一数据提供、大数据量应用模式计量、全行风险数据统一管控。

主要包括四个方面：数据整合、架构如何设计、补录数据如何进入数据库以及数据回流与共享。再一个是风险数据的支持，和风险计量，第四个是如何支持风险应用建什么样的风险指标风险报告。这四个方面的基础就是做好数据标准，数据质量和元数据的管控。