Intel范磊：Hadoop是企业实现大数据智能化最快方式

ZDNET至顶网CIO频道 12月05日 综合消息（文/羽飞）：11月24日，由ZDNet至顶网主办，英特尔协办、VMware和SAS支持的主题为“大数据•政府决策的科学发展观”的第五届政务信息化高峰论坛在昆山举行。多位政务信息化专家、大数据实践精英及IT界意见领袖出席了会议，并在会上就大数据在政务信息化中的实际应用等问题进行了深入交流。其中，英特尔数据中心软件部大数据软件服务部业务发展经理范磊在题为“大数据发展机遇和解决方案”的演讲中阐释了一些英特尔对于大数据趋势的看法，并重点分析了英特尔Hadoop架构的组成与优势。

英特尔数据中心软件部大数据软件服务部业务发展经理 范磊

大数据并非新事物

说到大数据，范磊首先提到了大数据的发展历史。大数据并非新事物，不同的时代实际上存在有不同概念的大数据。以今天大数据的标准来看，这样的课题在几年之前基本无人问津。而之所以今天大数据能够成为用户最迫切的需求，范磊认为原因在于两点。第一，伴随着移动互联网以及智能手机的逐渐兴起而出现数据量突然大幅增加的情况；第二，企业对于TCO的要求不断提高，再加上新技术的涌现，因此IT投入方面的变化，也让大数据逐渐成为企业关注的焦点。

既然有越来越多的企业对大数据感兴趣，就应该先要明确大数据有着什么样的特征。第一点，数据量要够大。至少要达到TB/PB级别，这也是大数据最明显的特点；其次，数据产生速度够快。随着移动互联网的发展，移动终端开始产生新的数据结构、新的数据种类，这就造成数据产生的速度也在大幅度增加；第三个特征是数据类型的多样性以及Hadoop的应用。Hadoop架构的出现主要是为了解决非结构化、半结构化数据所带来的问题；最后一个特征，数据挖掘与预测性分析。用户群庞大的企业，必然产生大量的用户数据，那么如何找到用户与产品之间的联系，从而改变经营策略和发展方向，已经成为这些企业最需要解决的问题。

Hadoop架构大幅提升可扩展性

Hadoop可以说是现在发展速度最快，得到厂商支持最多的一个开源项目，很多商业版本都在企业中得到应用，其中就包括英特尔Hadoop发行版。范磊介绍说，Hadoop产品线在中国的业务正是由英特尔数据中心软件部所负责的。从架构上来看，英特尔Hadoop的底层实际是一个分布式文件系统（HBFS 1.0.3），在这之上构建了一个实时、分布式、高维数据库系统（Hbase 0.94.1），再向上是Map/Reduce 1.0.3分布式计算框架，这里将搭建更多的数据分析、数据处理中间件，比如Mahout 0.6数据挖掘、Hive 0.9.0交互式数据仓库以及Pig 0.9.2数据流处理语言等等。另外在英特尔在自己的版本中针对企业及政府用户的需求，进行了一些改造和优化——在最顶层加上入了Intel Hadoop Manage 2.2，这是英特尔自主开发的Hadoop集群管理及监控平台，也是用户在构建集群时所必须要用到的一种平台。所有这些加起来就是一个经过英特尔优化的、完整的Hadoop技术框架。

Hadoop架构相比于传统的集中式架构来说，在可扩展性方面有着相当大的提升。原因在于过去的架构在设计之初并没有预想到今天的数据量会变得如此巨大，因此在性能的提升上有着比较大的局限性。传统的数据库系统的节点增加到一定数量时性能就不再提升了，比如IBM、甲骨文的传统数据库，节点数超过8个时在性能上就无法体现了。而Hadoop则解决了这个问题，Hadoop可以把所有的数据，都分到了同一个节点上，这个节点可以是几十个或是上百个。因此Hadoop的集群规模可以变得非常大。以现在的技术能力来看，移动数据的成本比移动应用的成本要高出许多，如果要把数据从一个位置转移到另一个位置，所需要耗费大量的网络、计算资源和时间。但Hadoop的设计理念，就是把所有东西都分拆到每台机器上，接着把应用任务也分拆到每台机器上，这就是Map/Reduce框架的作用。这样的一个拆分与回收的计算过程，一定会比传统的结构计算得快得多，响应外部互联网访问请求的时间也要短得多。而更引人注意的是，采用这种架构的总体拥有成本可能只有原来的三分之一。

大数据与Hadoop发展空间广阔

Hadoop具有如此优势，那么大数据的应用将如何发展呢？范磊举了一个智能城市的例子。智能城市是大数据发展的方向之一，它由智能医院、智能交通、电子警察、气象监控、智能电信等政府及公共服务应用组成。医院需要建立每个市民的健康档案，公安部门需要记录全城的监控录像，气象部门需要对每天的气象数据进行分析和储存，电信部门需要定期提供个人消费详单。这些智能服务实际上都产生了海量的数据，这些数据同时还需要长时间的存储以供随时调用，另外这些数据中还会充斥着大量的半结构化与非结构化数据，所以对于多种数据处理灵活性的需求将为大数据及Hadoop的发展提供广阔的空间。范磊表示，英特尔看到了大数据的重要趋势，也一直在该领域做着努力以提供更出色的解决方案。大数据与云计算一起正在实现具有革明性的跳跃，也许它甚至会让整个信息社会上升到更高的层次。