经过十多年的移动通信业务快速发展，中国移动江苏公司业务支撑系统已建设成为满足3000多万移动电话用户的计费、营业、帐务、结算等综合业务支撑平台，系统有十多台存储设备，存储容量超过200TB，存储设备型号种类多种多样，I/O性能也参差不齐。随着电信业务快速发展和服务要求不断提升，数据量每年以2位数的速度增长，存储规模越来越大。企业需要高效管理业务支撑系统存储，降低存储设备投资成本，确保存储空间和I/O性能利用率达到最佳平衡点，发挥每台存储设备最大的经济效益。此外，由于采用集中化国际招标的采购新增存储设备，每次中标的存储设备品牌的不确定性，异构设备互连兼容性、运行稳定性、安全性也将成为业务支撑系统规划建设面临的挑战之一。

　　根据2001年网络存储工业协会（简称SNIA）给出的定义，存储虚拟化(Storage Virtualization)是抽象、封装多台磁盘阵列或网络、主机、应用资源的内部功能和复杂度，实现网络、主机、应用与数据存储的无关的管理。存储虚拟化目标是让复杂存储使用简单化、标准化，为主机层、应用层提供一个简单的、一致性的界面。存储虚拟化实现主要集中在存储物理数据块的抽象、封装，让数据库或文件系统实现透明的访问物理数据块，有三种主流虚拟化实现方案：

　　基于服务器的虚拟存储化。该方案主要依赖安装在服务器上的存储管理软件，实现存储物理卷虚拟化，形成虚拟逻辑卷，提供给文件系统或数据库访问。由于存储管理软件是运行在服务器上，会占用服务器CPU资源。但是，因为不需要任何附加硬件配置，其最容易实现，投入成本最低，也可提供图形接口，方便SAN和虚拟化存储管理。

　　基于存储区域网（SAN）的存储虚拟化。该方案主要依赖智能SAN交换机来实现，它将存储区域网络上的各种品牌的磁盘阵列整合成可管理的存储池，在存储池中按需建立存储虚拟卷，并将这些虚拟卷授权分配给存储网络上的服务器，达到了充分利用存储容量、集中管理存储、降低存储成本的目的。目前，多个SAN交换机供应商及存储供应商已在开发智能SAN交换机，但是还缺乏比较成熟的应用案例。

　　基于存储设备的存储虚拟化。该方案主要依赖于可提供虚拟化功能的高端存储系统，其封装了其他存储设备物理特性，统一提供给存储区域网络上的服务器。当然，这种虚拟化方案意味着将锁定某一家存储设备供应商，但是，这种方法较容易实现，容易和某个特定存储供应商的设备相协调，更容易管理，同时它对用户或维护管理人员都是透明的。

　　电信业现有的存储设计方案介绍

　　业务支撑系统存储的数据主要包括用户客户资料、帐单信息、交易流水和用户通话清单，其中用户通话清单占约存储空间的80%。通常情况下，我们按照在线存储（Online Storage）和离线存储（Offline Storage）两级进行数据存储，为保证I/O吞吐量和系统稳定性，在线存储主要采用企业级高端存储系统；离线存储主要采用大容量的企业级磁带库，保存归档数据或进行数据库备份达到数据保护和数据库故障恢复手段。

　　现有业务支撑系统典型的存储架构设计如下图所示：

图1 典型的业务支撑系统存储架构设计

　　服务器通过SAN网络连接与磁盘阵列，为保证I/O吞吐量和容错，服务器需要配置多块HBA卡进行I/O负载均衡。为进行数据备份或归档，服务器还要配置1块HBA卡连接备份SAN，访问磁带库，数据备份或归档策略由集中数据备份服务器完成，并统一调度备份作业。

　　该存储架构设计对于磁盘阵列存储的所有数据均能够保证高效的读写，但是，没有考虑数据生命周期、被访问频度和I/O性能要求。实际上，业务支撑系统的数据都是有生命周期的，数据被访问频度要求随着时间大大降低，特别是用户通话清单访问频度变化比较明显。

图2 清单查询系统8月份用户清单访问每月清单频度分布情况

　　清单查询系统2008年8月份用户清单访问每月清单频度分布情况，如图2所示，用户访问当前2个月清单的频度是访问其他4个月前的频度1.2倍，也就是说用户访问当前月的I/O吞吐量是访问四个月前的I/O吞吐量2.1倍。但是，实际上存储系统并没有分级管理，而是作为整体进行I/O吞吐量考量的，最近2个月的用户通话清单存储成本是2个月前是一样的，显然这样没有发挥存储设备的最大效益，因此，非常有必要考虑存储分级、标准化、异构互连等问题的虚拟化解决方案。

存储虚拟化设计方案

　　为优化业务支撑系统存储设计，中国移动江苏公司选择比较成熟的基于服务器的存储虚拟化技术，针对业务支撑系统存储用户通话清单文件服务器进行存储虚拟化改造，新增低端存储设备，在清单查询服务器上安装存储管理软件，实现基于服务器的存储虚拟化，将低端磁盘阵列与高端存储阵列进行整合、虚拟化，让访问频度高的数据分布在高端磁盘阵列，访问比较低数据分布在低端磁盘阵列上。存储虚拟化改造后的业务支撑系统清单查询系统存储架构设计如下图所示：

图3 存储虚拟化后的清单查询系统存储架构设计

　　清单查询服务器通过SAN网络连接高端磁盘阵列和低端磁盘阵列，在清单查询服务器上安装第三方存储管理软件，并将物理磁盘卷上建立的逻辑卷进行虚拟化，然后形成虚拟化的多卷集，并在虚拟多卷集上建立共享文件系统，供清单查询系统使用。如图示是二级存储虚拟卷组成的卷集vvs1， 其中vvol1 卷包含镜像后磁盘是由高端磁盘阵列提供的双镜像 LUN 构成的。vvol2、vvol3、vvol4 卷是建立在低端磁盘阵列RAID5 LUN 上的。vvol1卷配置为获取最高可用性、最高性能存储方式，并用于存储访问频率比较高的最近2个月的清单数据和应用程序交换区。vvol2、vvol3、vvol4卷配置的低故障、高效的读I/O、更经济的存储方式，并用于存储访问频率比较低的2个月前的4个月的清单数据。

图4  二级存储虚拟卷组成的卷集

　　卷集vvs1创建完成后，然后对这些虚拟卷标记为动态分级存储，并在卷集vvs1上格式化多卷共享文件系统。最后，就可以设置文件系统的文件动态分级放置策略，按照话单文件的创建日期进行动态迁移判断标准，文件创建时默认在vvol1卷存储，超过2个月，动态迁移到vvol2、vvol3或vvol4虚拟卷上，文件动态迁移对于文件和清单查询文件系统应用程序是透明的。对于超过6个月的清单数据进行备份，查询服务器再通过备份SAN自动备份到磁带库上，实现脱机数据保护。

　　基于虚拟卷的存储虚拟化技术方案实现了业务支撑系统清单查询系统清单数据自动从一级高端存储到二级低端存储，再到三级离线磁带库存储，实现自动化动态分级数据存储架构体系。此方案实现了文件系统的存储虚拟化实现方案，如果是数据库，只要将数据文件建立在基于虚拟卷集的文件系统上或逻辑卷上，并在数据库规划时根据数据生命周期建立分区表，将不同的分区分布在不同级别的存储上，即可实现数据库自动化动态分级数据存储管理。

存储虚拟化的效果

　　基于虚拟卷存储虚拟化技术进行的清单查询系统存储动态分层改造，主要有以下优点：

　　降低约50%在线存储采购成本，节省清单查询系统的存储投资近200万人民币。基于服务器虚拟卷存储虚拟化方案将非频繁活动的文件动态迁移费用较低B，从而降低在线存储平均成本。高端存储硬件需要100元人民币/GB，而低端存储硬件仅30元人民币/G以节省约47% 的存储采购成本。非频繁活动数据越多，越节省存储采购成本。

　　减少日常数据维护工作量，应用程序无中断。基于服务器虚拟卷存储虚拟化方案实现数据存储自动动态分级管理，无需人工干预，大大减少人工维护工作量。如果采用传统的手工或应用数据迁移方式，在不同类型的存储设备上创建多个文件系统并在它们之间移动文件以满足业务需要，在迁移时业务需要中断。而采用基于虚拟化动态分级存储后，文件分级存储完全实现自动化、应用透明，从而最大程度地减少应用程序中断的时间，也没有I/O功能或延迟效应。

　　可更方便实现异构平台互连。由于采用第三方存储管理软件，很容易实现服务器、磁盘阵列异构平台互连，对于远期系统扩容采购，可以比较方便的在主机设备和存储设备采购中引入公开竞争，进一步降低设整体IT备采购成本。

　　有比较好的推广应用价值。几乎所有的信息都有生命周期，因此，任何IT系统的数据存储，特别是存储规模要求比较大的，均可以采用基于服务器虚拟卷存储虚拟化方案进行存储优化改造，实现数据的动态分级存储管理。