Sybase 山西烟草营造绿色数据中心案例

　　项目背景：

　　经过多年有序建设，山西烟草信息化工作取得了巨大成就，企业范围的数据采集已经覆盖了各个地市局的各个核心业务，同时企业已经部署了众多的应用系统，这些系统包括：　　

　　1）采用省、市两级分布部署的专卖营销管理系统

　　2）部署在省公司的资金管理系统

　　3）部署在省公司的投诉中心系统

　　4）部署在各市公司的行业生产经营决策系统（目前省公司也正在部署该系统）

　　5）部署在各市局的基于C/S架构的财务系统

　　为有效利用数据资源，充分发挥和挖掘信息资源价值，山西烟草公司决定建立一套集中的数据中心。遵循国家局《数字烟草发展纲要》的要求，结合山西烟草发展战略，山西烟草公司确定数据中心建设的具体目标为，实现信息资源集成整合、做到数入一库，为山西烟草的全员流程化建设，提供一个具备一致性、完整性、准确性、及时性的集中数据平台；同时，在统一一致的数据平台上构建决策支持系统为企业决策提供科学高效的辅助支持。

　　应用目的：

　　提供一个具备一致性、完整性、准确性、及时性的集中数据平台；同时，在统一一致的数据平台上构建决策支持系统为企业决策提供科学高效的辅助支持。

　　解决方案：

　　Sybase IQ

　　Microstrategy

　　Sybase旗下领先的高度可扩展的分析型数据库引擎Sybase IQ，是专为分析型应用与数据仓库而设计，使数据仓库应用拥有卓越的查询性能与最低总拥有成本。不同于传统数据库主要考虑在线的事物进程的设计，Sybase IQ是专为分析型－－而不是事务型－－而构建的。其首先关注查询性能，垂直储存、专利索引技术以及独特架构使其成为数据仓库的最佳选择。

　　Sybase IQ坚决反对在数据仓库等分析型应用的开发中，对硬盘、CPU、内存、人力、时间等资源的过度使用，而提倡以更低的成本和资源获取更高的性能和绩效，保证企业生态的可持续发展，从而成为软件行业内首屈一指的“绿色数据库”。它不仅彰显了Sybase以领先科技为企业营造健康成长环境的理念，还体现了革命性创新产品Sybase IQ低成本和高性能的卓越本质。

　　数据中心的建设采用了集中式架构，将来自省公司和各地市公司的不同应用系统中的数据集中到一个统一的数据中心，这使数据中心的数据量数倍甚至数十倍于目前单个应用系统的数据库容量。而这些统一的数据将被省公司及各地市公司查询分析，这对数据库的分析查询的响应速度也提出了新的要求。

　　之前，山西烟草公司在业务系统中大量使用了传统型数据库系统。根据数据中心应用新的特点以及这些新的需求，山西烟草公司对不同的数据库系统进行了一系列测试，Sybase IQ以出色的表现脱颖而出，尤其是Sybase IQ出色的压缩比和查询速度，满足了数据中心对数据存储容量和查询性能的需求。

　　在目前数据中心的集中式架构下，Sybase IQ 作为数据中心数据加工存储体系的存储构件，是实现地市数据集中存储和全局数据统一访问的核心保证。

　　数据中心集中式架构，在逻辑上还可以划分为数据仓库和数据集市两层。在数据仓库层，集中存储企业范围内的全局数据，并存放交换数据和业务规则表；在数据集市层，充分利用IQ优异的查询性能，面向部门级应用建设不同的数据集市，分析应用采用Microstrategy完成分析模型建模，即席查询可以直接访问IQ数据集市。

　　绿色IQ为数据中心建设带来的价值

　　作为山西烟草数据中心建设的核心组件，分析型数据仓库绿色引擎Sybase IQ为数据加工存储体系中数据及时加载、压缩存储，数据分析应用体系中信息快速灵活展现提供了有力保证。随着山西烟草数据中心系统深入建设，Sybase IQ的绿色特性逐渐展现出来：

　　高效的数据压缩与存储

　　区别于传统的行式存储，Sybase IQ革命性的采用列式存储技术，可以以很小的磁盘I/O 得到查询结果。由于数据按列存储的方式，相同列数据之间的相似度比行之间的相似度要大的多，因此会获得更加显著的数据压缩性能，将数据结果压缩至传统RDBMS方式的1/3至1/7。更大的压缩比例，加上大页面的I/O，使得Sybase IQ 在获得优良的查询性能的同时，减少了对存储空间的需求。正是基于其如此优秀的数据压缩和存储性能，SybaseIQ为山西烟草提供了统一的、全面的信息展示，囊括了所有核心业务系统的明细信息，充分满足了山西烟草数据中心数据加工存储体系的存储要求。比如，目前进入数据加工存储体系的营销系统数据ODS_TS_RECORDDETAIL表，装载1039778万条记录时候，Sybase IQ 的实际存储只有41.328M, 这些数据在原始系统中存储空间为89M左右，压缩比达到2！

　　卓越的查询性能

　　由于Sybase IQ按列而不是按行存储和访问表数据，决策处理中的很多查询只需要很少量的列数据，因此与传统的RDBMS相比，Sybase IQ在选择满足查询条件的数据时，只须涉及到很少的数据页面，从而减少了90%－95%的I/O任务调度，并大大了提高系统查询速度。同时，Sybase IQ提供了丰富的索引技术，如FP、LF、HNG、HG等索引，以适用不同数据类型，不同查询需求，不同数据级数的需求。重要的是，这些索引创建的依据来自于当前列的distinct的值、是否用于分组、是否用于关联等可以预知的和具体查询无关的信息，所以可以做到“事前索引”。这些索引技术与按列存储方式的结合，可大大提高系统的DSS以及即席处理性能。通常可提供高于传统按行存储数据库10 － 1000 倍的查询统计性能。

　　方便低廉的管理维护

　　由于Sybase IQ 从下到上都是为分析而构建，不需要为分析优化而在数据库上面花费很多工作，所以，与传统的数据库相比，部署时间可以大幅减少多达80%，这意味着企业可以快速获得结果。凭借革命性的列存储和索引技术，Sybase IQ彻底消除为每个查询进行调优的需要，消除为管理和维护新增节点和数据花费大量时间和资源的需要，Sybase IQ降低了数据管理成本，减少了维护工作量及其相关成本。此外，一旦完成了Sybase IQ 数据库的定义并且加载了数据后，新的决策处理数据即可随时存入，老的数据亦可按需要或剔除或归档。Sybase IQ数据库容许在其他用户正在处理时，可同时对数据库作维护（即存入数据或者删除数据）。

　　应用效果：

　　正是凭借这些先进技术，Sybase IQ为在山西烟草数据中心建设创建出提供了一个简单、易用、易维护、易管理绿色信息资源生态环境，以其强大的灵活性和适应性，包容了数据仓库OLAP分析中所面临的多种管理和优化需求，极大地降低了管理员的日常维护工作。

　　－同等存储投入支持更多分析业务

　　－卓越的查询性能

　　－及时、准确的决策支持

　　－建设绿色信息生态环境