Aster与Hadoop混搭出全新大数据分析框架

ZDNET至顶网CIO与应用频道 02月06日 北京消息（文/丁慧茹）： 开源地运行在MapReduce的Hadoop自一问世就吸引了众多开发者的注意，其对非结构化数据的批量处理能力以及高可用性、高容错能力和高TCO使得很多开发者或企业已经蠢蠢欲动。

而获得SQL-MapReduce技术专利的Aster Data（已被Teradata天睿公司收购），其快速的交互式、标准的SQL接口、可以直接使用成熟的RDBMS技能和BI工具等，大大降低了数据分析的技术门槛。

一个是面向专业的开发者，一个是面向广大的分析师；一个是高TCO，一个是低TCO一个是分布式文件系统，一个是MPP分析平台。在大数据时代之时，对于大批量结构复杂的数据进行快速分析，已经不仅仅是玩技术、开发爱好者的需求了，更多的企业开始寻求一个适用于企业、易入门、易管理、高容量、高效率的数据分析平台。那在企业在构建自己的大数据分析框架时，能否考是否能将Hadoop的高性价比、非结构化数据的批处理能力和Aster的数据探索能力进行结合？

Teradata 统一数据架构：Hadoop是存储 Aster是探索和分析

关于Aster与Hadoop的优势互补问题，其实在Aster Data被Teradata天睿公司收购以后，就考虑了开发能够整合这些优势的数据架构。去年底，Teradata Aster推出了业内首创的Teradata统一数据架构（简称Teradata UDA）以及应用该架构的Teradata Aster大数据综合分析平台：结合Teradata的数据仓库和Aster的大数据探索平台，加上Hadoop做大数据的存储平台，并实现了软硬一体化。

日前，记者也采访了Teradata Aster联合总裁 Mayank Bawa，具体了解了Aster探索平台和Hadoop混搭的具体细节，以及这样一个全新的大数据分析框架：Teradata统一数据架构的最大优势。

Mayank Bawa告诉记者，Teradata统一数据架构的出现主要就是因为大数据已经开始进入企业和商用领域，这些领域需要一个是真正的关于大数据的基础架构。“在Teradata UDA的最下面是Hadoop，主要是对海量的大数据提供最经济、最有效的存储，并进行一批相应的预批量处理。而Aster是作为一个探索平台在Hadoop之上出现的，对于大数据来说，其最有效的作用是探索和分析、发现价值。同时Teradata本身有传统的数据库，可以做一些SQL方面的分析。”Mayank Bawa解释到，对于企业而言，无论是传统的数据分析，还是一些较为复杂的非结构化数据分析，以及无论数据量有多大，借助这样一个整合的框架，所有的数据都可以得到有效的存储、整合和分析。

尽管Hadoop出来，很多企业开始尝试地将其作为大数据分析的一个有效的工具，但是正如我们开篇所说，Hadoop也有着自身的限制。Mayank Bawa指出：“Hadoop无论是分析能力，还是其专业难度，对于企业应用来说都是很大的挑战。”在Teradata UDA的框架中，Hadoop被作为一个高效、高性价比的存储平台。

据介绍，通过这样的一个混搭，利用刚刚发布的Teradata Aster大数据分析平台“可以使得处理Hadoop的设备内存比之前大了5倍，速度快了20倍。同时Hadoop集群设备占据的数据中心非常大，而通过这样一个融合之后的平台，Hadoop数据中心的占用空间能够缩小到60%。”Mayank Bawa还特别强调了Aster与Hadoop的混搭后，将SQL、MapReduce结合，分析的速度快了35倍、开发的速度快了3倍、发现数据的速度快了5倍。这些结果，都是无法单纯依赖Hadoop能够达到的。

Teradata UDA：企业部署无需一步到位

看到上面的介绍，很多企业会想，框架不错，可是对于企业采购来说，一次性部署完成也是个不小的挑战。Mayank Bawa介绍到，其实这个框架只是一个最为适合大数据的分析框架，但是对于企业而言，可以根据自身的数据情况进行选择性、分阶段地进行部署。

对于企业而言，如果想更快地从大数据中获得价值，那一开始可以采用Aster的解决方案，而当数据量达到一定规模、需要更大的平台处理的话，就可以将Hadoop引入进来，作为存储和预批处理的平台。

而Aster对Hadoop的版本支持，目前最为紧密的合作伙伴是Hortonworks，而对于其他版本的Hadoop也有不同程度的支持。Mayank Bawa还提出了一个担忧，“Hadoop版本太多，以后可能会变成像Unix那样的情况，面临着AT&T、SUN、HP等不同的版本。”

Mayank Bawa表达出的观点是，对于Teradata Aster而言所要做的是不断探索为企业提供最完美服务的可能。新的框架，对于企业而言，尤其很多中小客户来说，其维护成本、分析人员的知识结构的要求并不会太高。

据了解，一些中小银行已经开始用Hadoop做分析，但是使用起来会很困难，因为技术和人员都不太成熟，对于用户而言需要找到既懂Hadoop、又懂分析的人是个不小的挑战。而利用Aster探索平台做分析，其开发需求要少很多，其只需要找到与本企业业务相关的分析人员即可。也正因为如此，才会有很多的并非大型企业的客户开始尝试地进入到大数据领域，真正地从数据中获得相应的价值。

这也是Mayank Bawa在接受采访过程中一直强调的，让大数据分析能够真正地走向商用、走向大众化。