数据中心架构的研究与实践

　　当今国内外高校的教学、科研及管理过程已离不开信息技术，IT战略已经成为高校发展战略的重要组成部分，国外不少高校都设有副校长级的CIO去统筹学校的IT战略。数据中心在高校的IT架构中的地位非常显著，因此数据中心的发展战略也成为高校IT战略的重要组成部分。数据中心的建立可使关键IT资源整合到一个可控的中央环境，从而打破学校部门间的壁垒，优化信息资源的利用，提升高校的IT服务水平，促进高校教学、科研和管理水平的提高，使学校的TCO(总拥有成本)得到降低，有效地帮助高校实现自己的远景战略目标。随着企业IT整合的大趋势，在2000年以来国内一些高校已经逐步建立数据中心，累计了不少成功的经验。

　　高校数据中心架构　　首先，了解学校发展远景及未来的发展趋势，是做好架构设计的先决条件，特别是确定学校发展得最快的、消耗资源最多的几个方面的需求，例如数字化图书馆、数字化学习、高性能计算的需求。其次，要充分把握技术发展趋势，根据最近研究显示，企业IT架构正呈现以下的趋势：设备资源整合型数据中心正在增长；硬件向着通用化、模块化、虚拟化发展；软件的工作负载分配与使用模式发生了改变；系统设计的评价标准发生了变化，要优先考虑可扩展性、可靠性、可用性、易管理性、能源消耗及TCO，性能不再成为优先考虑的评价标准。 一个完整的数据中心集成了各种服务：基础设施服务、Server Farm服务、存储服务、网络服务、安全服务、管理服务、核心应用服务等。

　　基础设施服务

　　数据中心基础设施服务设计内容有：选址、消防、空调与通风、线缆布设方式、供电、机柜布局设计等多方面的内容。基础设施服务设计的缺陷容易引致基础设施灾难事件的发生，最常见的是电源、空调与通风等设计选型问题引致的全局性停机事件。

　　首先，我们应为数据中心选择一个固定的场所，选址设计应包括：建筑物、楼层、楼板承重、运输装卸、门窗要求等多方面的设计内容。其次，空调与通风设计应该与活动地板、线缆布设方式设计相配合。活动地板的最重要作用是通风及方便布设线缆，下送风上回风设计要求活动地板应该有足够的高度，如果房间空间不足可以使用天花板上送风上回风、天花板布设线缆的方式。数据中心设备7×24的运行产生大量的热量，应尽量使用精密机房空调，并有主备机轮换工作。

　　另外，供电应该采取两路供电，配合UPS双机系统，提供380V三相及220V单相两种供电方式，电源插座应该采取工业插座并有足够冗余数量，大型服务器直接接工业插座，工作组级服务器应通过PDU(电源分配器)接入工业插座。在布局设计上应采取机柜分区、分组放置，机柜分组间留有工作及安全通道，机柜的行与行之间可以采取“冷空气通道”—“热空气通道”间隔的布局，可以提高空调送风系统的效率及相对节省地方。

　　Server Farm服务

　　Server Farm指的是服务器群，数据中心的Server Farm服务应该采取虚拟化设计。服务器虚拟化的最大好处是可以充分利用资源，并在一定程度上做到故障隔离。在过去我们往往需要为不同的应用准备各自独立的物理环境，随着业务类型的增多，也就需要购买更多的服务器，但不少业务并未能很好地利用CPU、内存、磁盘这些资源，这必然会导致TCO的上升。服务器虚拟化技术，可将单台的服务器分成多个独的分区进行负载管理，分区中运行独立的操作系统及应用，资源(CPU、内存、磁盘) 在分区间可以动态灵活调整。

　　实现服务器虚拟化技术有两种：来自于大型主机的分区技术(物理分区技术和逻辑分区技术)和虚拟机(仿真)技术。物理分区有着故障隔离的特点，可靠性比较高；逻辑分区是属于一种负载管理的方式，它一般是需要服务器硬件底层的固件提供负载管理的支持；虚拟机技术是一种具有负载管理的操作系统仿真，它运行在一个特定的操作系统上，一般不需要特殊的硬件底层的固件提供支持，常用于PC服务器。

　　常用的虚拟机有VMware、Microsoft Virtual Server 2005等。虚拟机适合高校数据中心负载不高但需要相互隔离的服务：Web服务、分布式LDAP目录及认证系统、服务器租赁业务。两台物理服务器上的分区或虚拟机之间可构建成HA集群，增强高可用性。

　　存储服务

　　随着信息技术在高校中的广泛应用，信息存储需求已呈直线上升的趋势。电子图书馆、数字化学习等应用都需要大量的存储空间。存储服务也是当今IT虚拟化技术的一个重要体现。存储服务是将主要的存储功能从服务器中分离，形成独立的服务，使存储空间利用率有效提高，管理策略更加灵活，并大大增强了系统的可用性。

　　存储网络主要的实现方案有：SAN、NAS和iSCSI，它们各有自己的特点。SAN是一种磁盘虚拟的方式，它通过存储交换机使存储阵列与服务器连接(通常是双连接)，因此有着非常高的可靠性和优异的性能，所以SAN是数据中心存储服务的首选方案；NAS方案提供文件系统虚拟，是SAN的有效补充；iSCSI也是磁盘级的虚拟，但实现的成本比较低，无需要建立特殊的FC存储网络。

　　磁带库系统除了担当数据备份的角色外，虚拟化磁带库还可以作为SAN存储的补充，用于分级存储及信息生命周期管理(ILM)。数据中心存储虚服务除了要支持多种等级的RAID的容错功能外，还应具有数据快速恢复及远程灾备的能力，支持数据“快照”和“克隆”的能力。

　　网络服务

　　在数据中心网络服务架构设计中，应该特别关注可扩展性与层次性，因此设计不仅要包括数据中心接入层及汇聚层的设计，而且要考虑数据中心网络如何在WAN(广域网)、MAN(城域网)传输层上扩展。根据安全、功能与管理的需要，数据中心的Server Farm还要通过网络将其分割为DMZ Server Farm、Internal Server Farm及Hosting Server Farm等部分。

　　数据中心的网络必须是高可用的，因此企业核心层到数据中心汇聚层、数据中心汇聚层到接入层应该采取双连接的结构。

　　数据中心接入层提供100ME、GE和10GE的连接，未来几年10GE将成为主流。数据中心接入层主要有Layer 2接入和Layer 3接入两种模式。前者服务器与交换机之间采取Layer2接入模式，Layer3路由在汇聚层中实现；后者Layer 3功能在接入层实现。两种方案各自有优缺点，需根据实际情况选择方案。目前比较多采用的是Layer 2接入方式，它的拓扑结构设计有三种：传统的单连接星型(Hub and Spoke) 拓扑结构、环路(Looped)拓扑结构和无环路(Loop Free)拓扑结构。在Layer2接入设计中，接入端口与上连汇聚层端口的超载比 (Oversubscription)、VLAN及生成树(SPT)设计方案都是的重要组成部分。

　　Layer 3～Layer 7的网络服务一般是在汇聚层实现，它包括OSPF、PBR(策略路由)、SLB(服务器负载均衡)、QoS、SSL加速、内容缓存、VPN等重要内容。网络服务的虚拟化趋势也是需要重视的，所谓网络服务的虚拟化指的是SLB、SSL加速、内容缓存及防火墙等功能的虚拟化，网络设备上的服务模块可以为不同VLAN 提供防火墙、SLB等服务。虚拟化的网络服务同样可以达到节省资源、简化配置、优化网络结构的目的。

　　安全服务

　　数据中心的安全服务是保障所有应用与服务的安全防线，也是数据中心各种高级应用的基础。数据中心安全服务需要为服务器、操作系统及应用提供安全配置方法及检查方法、提供安全审计数据、交换机ACL的定义、建立支持虚拟化的防火墙及入侵检测系统。此外，以数据中心的基础平台基础，建立统一的标识符管理、LDAP、认证、授权及数字证书服务及管理规范，也是安全服务的重要内容，这五个方面的内容也被I2-MI定义为高校的核心中间件服务，它是高校实现统一身份认证、有效实现应用集中的重要手段之一。

　　管理服务

　　数据中心设备的多样性及技术的复杂性使管理服务成为必然，管理服务一般包括：故障管理可以使我们提前发现隐患，在故障发生后及时得到恢复；配置管理要求建立数据中心有关设备的配置库，配置库包括了固件版本、软件包、补丁、配置清单、更新记录等详细的内容，配置库可以帮助管理员减少人为疏忽造成的宕机事件；性能管理提供数据中心的性能监测数据，为系统性能优化及未来的规划提供重要的依据。

　　核心应用服务

　　数据中心的核心应用包括企业级数据库、DNS、电子邮件、WWW及门户等。保持这些核心应用的高可用，是数据中心核心应用设计中必须解决的问题。在应用上我们也需要留意各种虚拟化的趋势。应用虚拟化主要技术有：传统的集群技术和基于网格的虚拟化技术。与分区及虚拟机技术不同，集群与网格将多台服务器组织成一个虚拟的计算机，共同完成预定的任务。目前网格技术正在发展中，多用于科学计算或一些特定的应用，面向生产的、开放的、具有网格功能的虚拟执行平台(VEM)，例如Oracle 10g、Platform LSF已经逐步发展成熟。

　　中山大学数据中心建构

　　中山大学数据中心是是我校 “十五”期间信息化建设的一项重大基础性工程和标志性工程，是我校“数字化校园”(“数字化学习”、“数字化管理”、“数字化科研”、“数字化生活”)的基础设施，是“数字化环境”的核心部分。中山大学数据中心通过 “物理集中”、“数据集中”、“服务器合并”、“应用整合”等手段实现对校园网内部各种资源进行有效的整合、优化，实现资源的有效共享和充分利用，

　　基础设施

　　中山大学数据中心座落在中山大学南校区，拥有一个一百三十多平方米的计算机机房及配套的消防间、配电间和UPS间。数据中心配备3台40KW制冷量的精密空调，能够精确地控制机房内的温湿度，保持机房24小时恒温恒湿。

　　数据中心还配备2路独立的供电线路和一套双机运行的160KVA UPS，保证机房内设备能24小时安全运行。数字化校园和网络基础服务涉及的数十台服务器和网络存储与备份设备被全部集中放置在数据中心机房。这些服务器和设备包括两台IBM p690服务器、一台Sun E6900服务器、一台DELL|EMC CX600存储阵列、一套曙光TC4000L高性能集群和数十台Sun、DELL服务器。

　　存储服务

　　网络存储是数据中心的重要组成部分，网络存储是将主要的存储功能从应用服务器中分离开来，并使存储空间利用率有效提高，使存储分配和备份策略更加灵活。数据中心的网络存储采用存储局域网(SAN)模式，数据中心的服务器通过由三台2Gbps光纤通道交换机(共 64端口)构成的光纤存储网络，连接到一台35TB存储容量的DELL|EMC CX600光纤存储阵列和一台DELL 136T光纤通道磁带库，实现数据集中存储和备份。中山大学“数字化学习”、“数字化管理”、“数字化科研”等的主要数据都集中存放在这里。

　　服务器集中

　　数据中心将以往分散在多台服务器上的应用程序和数据合并到两套IBM和Sun的大型UNIX服务器上：

　　一套IBM p690大型UNIX服务器高可用集群(由一台24个CPU，24GB内存和一台16个CPU、16GB内存的IBM p690组成)。该集群采取全冗余设计，无单点故障，有良好的RAS特性。IBM p690服务器具有分区的功能，分区之间可以通过HACMP集群建立软件实现热备。我们在服务器上建立了数据库分区(运行Oracle 9i RAC)、目录服务分区(运行IBM Directory Server)、企业信息门户分区(运行IBM Websphere Portal Server)、校务管理系统分区(运行基于J2EE的校务管理系统)。该集群是“数字化管理”的核心服务器。

　　一台Sun E6900 UNIX服务器(20个CPU、80G内存)。Sun E6900服务器采取全冗余设计，无单点故障，有良好的RAS特性。Sun E6900服务器由4个硬件域组成， WebCT域(数字化教学平台)、BlackBoard域(网络教育平台)、syslib1和syslib2域(图书馆应用)，分别为现代教育技术中心、网络教育学院和图书馆三个单位提供服务。该服务器是“数字化学习”的核心服务器。

　　数据中心还拥有一套由65个节点构成高性能计算集群，其Linpack峰值达到716.80Gfops，实际峰值达到408.70Gfops，效率为0.58。该集群在2005年11月公布的《2005年中国高性能计算机性能TOP100排行榜》中总排名第64位，大学排名第14位，华南地区大学排名第2位。

　　数据中心所有PC服务器(除个别情况外)和一些老的Sun服务器利用服务器虚拟化技术集中到一个VMware ESX Server服务器群上。这个虚拟服务器群由跨校区的12台高性能的PC服务器构成，其中数据中心6台、北校区、东校区和珠海校区各2台。虚拟服务器群能够提供FreeBSD、Linux和Microsoft Windows等多种操作系统的虚拟服务器。

　　目前，平均每台物理的服务器存放了十五六个虚拟服务器，每台服务器上同时运行的虚拟服务器多达到六到八个虚拟服务器，这样极大提供了服务器利用率并节约设备初次采购成本和运行费用。利用VMware ESX Server的克隆功能，在虚拟服务器群中每台虚拟服务器至少拥有一个副本，这样极大地提供了数据安全性和缩短了系统恢复时间。为校园网提供DNS、DHCP、目录和认证服务的分布式基础网络服务器平台和中心应用开发测试环境就是部署在这样一个虚拟服务器群中。

　　应用整合

　　应用的整合需要核心中间件服务。核心中间件是指那些其他中间件服务都要依赖的中间件服务。Internet2组织定义了标识符、认证、目录、授权、证书及公共密钥基础设施等5个核心中间件服务服务。数据中心通过指定和实施中山大学核心中间件的规范和标准，促进各种服务的标准性和协同性，防止出现相互冲突和不协调，实现对对校园网内部各种资源进行有效的整合、优化，实现资源的有效共享和充分利用的目标。

　　安全服务

　　数据中心建立了以Checkpoint Firewall防火墙为中心的网络安全防护体系。在这个安全防护体系中，核心服务器特别是数据库服务器、管理服务器等位于内部网区域，数据中心其他服务器位于非军事区，均受到防火墙不同级别的保护。