扫一扫
分享文章到微信
扫一扫
关注官方公众号
至顶头条
来源:支点网 2010年3月11日
关键字:
1. 项目需求和背景
山西网通的主要业务发展情况为:截至2006年1月份,固定电话用户632万户,无线市话用户185万户,宽带互联网用户达到91万户,窄带互联网用户达到31万户。目前已建有大量的业务运营系统,包括:计费帐务系统、网间结算系统、综合客服系统、呼叫中心系统、智能网系统、互联网计费系统、大客户管理系统、IC卡管理系统等,这些系统是省级中的系统,分别由7家开发商实施,分别部署在Sybase、Informix和Oracle数据库平台上。随着业务的不断发展,及时掌握自身的业务信息、质量信息以及资源等的信息已成为决策层、各管理部门的迫切需要;同时通过对客户知识的发现,可以使山西网通的管理和业务人员清楚了解客户的喜好和行为习惯,有针对性地制定决策和服务于客户。为了获得这些全面、一致的决策分析信息,山西网通本期决策分析系统建设将从以上这八个省集中的业务运营系统中提取源数据,通过整合汇总到统一的分析平台上。
2. 总体目标
山西网通决策分析系统的建设总体目标如下:作为企业级共享信息服务支撑体系的基础和核心平台,以“二级系统、三层结构、三级应用”的模式建设企业级决策分析系统,基于规范的数据标准,整合各业务系统中企业内的全部业务数据和企业外部数据,搭建智能、主动的共享信息服务平台,为经营决策、运营管理、客户服务提供核心分析信息和应用支持,从而全面提升企业信息支撑能力,促进基于分析的企业运营管理体系走向成熟。
3. 系统主要功能指标需求
应用指标:满足总数500人,平均用户数50人左右的应用需求。
数据在线存储指标:客户资料等业务基本数据永久保存,业务话单数据保存13个月,帐单数据保存37个月,多维分析数据保存3年。
数据抽取周期:明细帐单与综合帐单在出帐后第二天抽取,其它数据每天抽取,
对信息使用者:
实现较快的反应速度:要求不仅能够快速适应各种新业务发展的需要,而且能够快速的展现分析结果。
实现较强的处理能力:要求系统能够进行海量数据的处理,并能够从多角度进行分析,满足决策分析的需要。
数据获取层:具备高效的数据抽取能力,整合计费系统、网间结算系统、综合客服系统、呼叫中心系统、智能网系统、亚信数据计费系统、大客户管理系统、IC卡管理系统为主的多种数据源,形成统一的决策支持数据视图。
数据存储层:具备完备的数据存储功能,具备灵活的数据存储、组织、扩充及重构能力。
数据访问层:具备多样的数据访问能力,主要采用OLAP分析、KPI报表(以日为最小周期)、预定义报表(以日为最小周期)、即席查询,并辅以数据挖掘等多种方式,满足省公司决策层、管理层、执行层等不同人员的需求。
4. 解决方案
山西网通决策分析系统的解决方案结构图如下:
山西网通利用数据仓库技术建设决策支持系统,在该系统中的数据仓库服务器上安装了Sybase提供的数据仓库数据存储和管理引擎IQ,利用IQ独特的按列存储、专利的索引等技术,获得在大数据量环境下的压缩存储能力,同时保证用户查询访问的高效率;利用Sybase IQ的开发性,与山西网通采购的ETL工具和前端展现工具紧密配合,以较低的整体软硬件成本,实现了全面、完整的、高效的决策分析系统。
5. 解决方案优势
由于采用Sybase公司的数据仓库专用管理系统Sybase IQ,系统建设和运行过程中充分利用了Sybase IQ专业数据仓库系统软件的下列特点:
独特的列式存储技术。数据的列式存储有利于提高按范围查询的效率,减少系统I/O,跟同等规模的数据量相比,查询速度优于传统的数据库,而且不需要DBA额外做更多的性能调优。
索引无处不在。Sybase公司索引无处不在的技术对使用者的响应速度比其他产品要快10到100倍,这一点充分体现在它可以根据不同的需要,创建不同的索引。在数据仓库中一般需要很多的汇总数据,而Sybase IQ 是专门针对数据仓库而设计的数据库,针对这些汇总、统计操作有专用的索引,大大提高统计信息的效率。另外还有专门的JOIN索引,更是提高了两个表之间关联的速度。
超凡的数据压缩技术。Sybase公司数据仓库产品具有数据压缩能力。压缩比率很大,在本项目中,10个月12G数据,在IQ中只需要9G左右数据库空间,这大大的减少了磁盘空间的需求。对比在数据仓库项目中,往往存在数据量成指数膨胀所带来投资增长的问题,而IQ采用压缩技术将大大削减此项投资。
使用Sybase IQ安装部署简单快捷,管理维护成本低。
6. 数据仓库软件产品配置
数据仓库采用SybaseIQ Multiplex双机方式:
HP server rp8420 /16 cpu/32G RAM Sybase IQ 写服务器
HP server rp8420 /16 cpu/32G RAM Sybase IQ 读服务器
7. 系统运行情况
Sybase IQ解决方案有效地支撑了当前山西网通决策分析系统的建设,目前用户反馈在IQ中查询响应时间非常快。数据量情况:目前山西网通决策分析系统稳定运行,数据仓库的数据量为9.5T,日增长量40G左右,数据库数据压缩比到75%。
如果您非常迫切的想了解IT领域最新产品与技术信息,那么订阅至顶网技术邮件将是您的最佳途径之一。
现场直击|2021世界人工智能大会
直击5G创新地带,就在2021MWC上海
5G已至 转型当时——服务提供商如何把握转型的绝佳时机
寻找自己的Flag
华为开发者大会2020(Cloud)- 科技行者