中国移动通信集团公司服务管理系统应用案例

　　案 例 简 介

　　企业IT系统越来越多，网络、设备和产品越来越复杂，业务越来越依赖于稳定可靠的系统运行，公司内部和外部用户对IT部门的支持服务和协调管理也提出了更高的要求。此时IT部门如果缺乏快速有效的协调机制和必要的辅助管理工具，就会出现“救火队式”的混乱局面，其主要表现如下：被动响应式的工作方式。很难及时发现和预见问题的发生。问题出现后，很难快速、准确地找到根本原因，并及时地找到相应的人进行修复和处理。问题找到后，缺乏流程化的故障处理机制。重复、丢失、忘记用户的请求和信息。支持过程总是被打断和干扰。关键人员的工作负载过重。缺乏过程和变化的跟踪记录。 IT支持部门面临不断改进服务和降低成本的压力。资源和人力成本计算工具匮乏。服务请求的响应时间和质量无法衡量。决策基于“我认为”而不是“我知道”。结果造成IT部门整天疲于奔命，却仍被投诉，无法满足服务时效性和稳定性的需求。这种工作模式下的IT资源管理，不仅IT部门吃力不讨好，而且也无法发挥IT系统的整体性能和功能。

　　用 户 名 称

　　中国移动通信集团公司

　　用 户 类 型

　　电信

　　用 户 简 介

　　中国移动通信集团公司(简称“中国移动通信”)于2000年4月20日成立，注册资本为518亿元人民币，资产规模超过4000亿元。中国移动通信集团公司全资拥有中国移动(香港)集团有限公司，由其控股的中国移动有限公司在国内31个省(自治区、直辖市)设立全资子公司，并在香港和纽约上市。目前，中国移动有限公司是我国在境外上市公司中市值最大的公司之一，也是亚洲市值最大的电信运营公司。中国移动通信主要经营移动话音、数据、IP电话和多媒体业务，并具有计算机互联网国际联网单位经营权和国际出入口局业务经营权。除提供基本话音业务外，还提供传真、数据、IP电话等多种增值业务，拥有“全球通”、“神州行”、“动感地带”等著名服务品牌，用户号码段包括“139”、“138”、“137”、“136”、“135”、“134(0至8号段)”和“159”。中国移动通信在我国移动通信大发展的进程中，始终发挥着主导作用，并在国际移动通信领域占有重要地位。中国移动通信已经成功进入国际资本市场，良好的经营业绩和巨大的发展潜力吸引了众多国际投资。中国移动通信已连续5年被美国《财富》杂志评为世界500强，最新排名第224位。在中国企业联合会和中国企业家协会组织的“2005年中国企业500强”评选中，列中国企业500强综合榜第四位，列服务企业500强第二位。上市公司成为连续三年入榜《福布斯》“全球400家A级最佳大公司”的唯一中国企业。

　　用 户 需 求

　　中国移动集团公司经过几年的信息化建设，已经建成了由Portal、OA、MAIL、VPN等多个应用系统组成的庞大IT系统，极大的提升了企业的信息化水平，提高了工作效率，基本实现了无纸化办公。

　　但是随着IT技术日新月异，企业IT系统越来越来越复杂。越来越庞大、越来越重要的IT系统带来的是越来越复杂的保障工作：任意一个系统的故障都会带来业务的中断、整个公司运营的瘫痪……如何保障IT系统的正常运行，从而保障中国移动集团的业务，已经日益成为一个需要仔细思考的问题。

　　中国移动集团公司的VPN系统涉及多个系统，有用户认证、用户数据库管理、动态密码生成、短信发送等多个环节。其中，很多领导下班后，会在家里通过VPN访问公司关键系统，继续办公。VPN已经成为了企业一个不可或缺的系统。特别是领导遇到登入问题的时候，而且需要短时间内解决，维护人员的压力就更大了。由于VPN服务是由多个系统组成，包括短信认证，数据库和Portal等，当用户无法登陆VPN系统，系统管理员很难定位问题发生在哪一个系统。只有通过端到端监控每一个相关系统的事务情况以及反应时间，系统管理员才能快速而准确地判断故障所在，定位服务故障的根本原因，并且快速排除问题。

　　技 术 路 线

　　为了保证VPN服务的可用性以及性能，我们为移动集团公司提供了Mocha BSM，一个端到端反应时间和事务监控的解决方案。

　　功能描述

　　在中国移动集团公司项目中，Mocha BSM实现了以下功能：

　　端到端BSM(Business Service Management)为企业整合不同监控系统的数据和事件，以清晰的仪表盘形式，展现各种指标状况，最终帮助企业领导实现IT规划与决策。通过Mocha BSM的服务定义，系统管理员把所有的网络、主机和应用等都定义为服务，方便移动领导通过BSM Dashboard以业务视角来了解企业IT系统，而不是试图理解IT系统技术上的细节。

　　服务仪表盘界面

　　通过BSM Dashboard，移动集团公司领导能更轻易地通过KPI指标理解现有企业IT系统的可用性和性能状态，这包括MTTR (平均恢复时间Mean Time To Repair)和MTBF (平均无故障时间Mean Time Between Failure)等KPI指标。

　　我们也实现了移动集团公司内部的服务水平管理(Service Level Management)，对VPN服务以及相关系统提出了具体的反应时间的要求以及SLO(Service Level Objective)数值。

　　SLA仪表盘界面

　　领导可以通过SLA Dashboard了解VPN服务的现有状况以及符合SLA的状况。一旦有违反SLA的事件发生，比如VPN服务反应时间过慢，系统管理员就会接受到短信和邮件通知。为了确保VPN服务的服务水平，项目组特地设置SLO违反警告，一旦某一项SLA指标接近危险水平，系统管理员也会收到报警，提供了充分时间给系统管理员做好准备，避免违反SLA，导致VPN服务的客户体验受影响。

　　SLA报警发送设置界面

　　通过Mocha BSM的报告订阅，IT系统管理员或者领导都能定期获得VPN服务的状况，这包括SLA满足的情况以及VPN表现的趋势。

　　SLA评审报告界面

　　IT部门也能定期通过Mocha BSM的评审对VPN服务进行内部的评审，并能对SLM做出未来的规划和优化。

　　SLA评审界面

　　客户领导日理万机，时间非常宝贵，所以IT部门对他们提供的服务，更加不能出现差错。但是，往往IT部门都是被动的解决领导遇到的IT问题，都是事后领导先发现问题，才硬着头皮解决。项目实施的Mocha BSM VIP服务就充分地解决了这个问题。VIP服务会监控领导使用VPN服务的反应时间，一旦反应时间不能满足SLA的定义，系统管理员会第一时间知道，并且能主动解决领导的问题。

　　VIP服务仪表盘界面

　　项目也通过Mocha BSM的业务流程监控对客户的Lotus OA的业务流程进行监控。这包括从企业、部门、个人角度来统计业务流程的效率。

　　业务流程监控界面

　　项目也实现了VPN服务端到端的反应时间监控。以前，系统管理员最大的头痛是不能对反应时间慢等问题进行定位，因为VPN服务牵涉了几个不同的系统：

　　VPN系统端到端监控快照

　　比如客户的VPN服务牵涉了VPN软件，Radius认证服务、Oracle数据库、应用服务器、短信应用和短信网管等系统。

　　VPN系统端到端监控界面

　　现在通过Mocha BSM的端到端反应时间监控，系统管理员能够根据VIP或者普通用户查询某个用户VPN服务登入反应时间的历史纪录。一旦有相关用户投诉，系统管理员能够很快地找到相关资料，以及定位问题的根本原因。系统管理员也能把VPN服务相关的系统信息关联上，马上就能看出当时系统慢是不是因为CPU或者内存原因。点击其系统历史纪录，就能看到这个现象在过去数个小时内是持续性还是昙花一现。

　　应用进行监控，项目也实现了VPN应用、Lotus Domino和Lotus Mail应用的监控。

　　Domino应用监控界面

　　通过Mocha BSM应用监控，系统管理人员更加容易地对系统进行可用性和性能管理。

投 入

　　为了达到最佳效果，在建设此项目中，中国移动集团公司选用了以下几个厂家：

　　服务台，客户选择了BMC Remedy

　　系统和网络管理，客户选择了IBM Tivoli Monitoring (ITM)

　　以及Mocha BSM负责应用监控

　　在选用这些产品时，客户对这些异构系统的互相兼容性要求非常高，我们也通过Mocha BSM顺利完成了与Remedy和ITM系统之间的事件和数据整合。

　　事件整合：一旦发生系统、网络设备或者应用宕机，又或者性能指标超标，Mocha BSM和ITM将会产生事件，这些事件一方面会通过报警机制通知相关的系统管理员，一方面会发送至Remedy服务台，通过服务台对这些事件进行整合。最终客户服务人员或者维护人员就能通过服务台看到所有监控系统所产生的事件，并且触发相关的流程。

　　数据整合：在这个项目，Mocha BSM不负责对系统和网络设备的指标数据的采集，因为这些数据已经通过ITM采集过了。Mocha BSM通过其适配器从ITM获取相关数据，避免了如下问题的发生：

　　重复数据采集，因为ITM先前已经对系统和网络设备进行数据采集，Mocha BSM没必要重复，并且避免了对系统造成无谓的负荷。

　　减少License成本，很多企业都已经有了自己的监控系统，由于Mocha BSM兼容第三方产品的特性，企业不需要再买额外的License，省下不少成本，而且保护了企业现有投资。

　　成 果

　　在中国移动集团公司的Mocha BSM 实施项目具有以下特点：

　　允许集团公司的维护队伍达到80/20效果，花20%力气达到80%效果。移动领导日理万机，时间比较宝贵，IT系统必须有效支撑移动领导的公司决策过程。通过Mocha BSM的端到端反应时间与事务监控和VIP服务，系统管理员可以主动预防领导登入VPN服务慢等问题，提高公司领导对IT部门的满意度。

　　实现了端到端BSM，现在IT部门领导也不需要像过去那样需要了解技术细节，他们只需要通过BSM Dashboard，SLA Dashboard等仪表盘，能够更好掌握IT部门服务营运状况。

　　以前，很难界定IT部门的表现的好坏，因为没有数据支持或者证明。但是现在通过服务水平管理 (SLM)，不但制定出领导与内部同事对VPN服务反应时间的期望值，并且可以朝这个量化的指标努力，确保高的用户满意度。一旦VPN服务质量有恶化的趋势，系统管理员也能第一时间获得这方面的报警，主动定位问题，排除问题。

　　在实施Mocha BSM之前，移动集团公司已经买了Remedy和ITM等监控软件，但是Mocha BSM的高可兼容性，确保Mocha BSM和Remedy达到了事件整合以及和ITM做到了数据整合。这允许客户挑选各个监控领域最佳产品，但是又不需要担心产品之间整合等问题，而且保护了现有投资。

　　其 他

　　运行环境

　　系统共采用6台终端Unix数据库服务器：

　　 2台数据库服务器，连接一台磁盘阵列，构成双机热切换系统

　　 2台Portal门户服务器，通过四层交换机实现负载均衡

　　 2台一级采集服务器，通过HA软件组成双机热切换系统

　　 用户端

　　 操作系统：Windows 2000、Windows XP、Windows 2003

　　 硬件配置：CPU主频200MHz以上、内存128M以上、硬盘300M以上

　　 浏览器：IE 6.0以上

　　 软件产品

　　 Lotus Domino Client

　　 Oracle 9i Database

　　 Oracle Client

　　 Mocha Business Service Management

　　 Mocha Remote Agent Management