ZDNet>CIO频道>新闻>做大数据分析?来把瑞士军刀:Teradata Aster 大数据综合分析平台

邮件订阅订阅:

做大数据分析?来把瑞士军刀:Teradata Aster 大数据综合分析平台

摘要:弄清这个平台的优势,得先搞清楚几种分析语言的优劣势了。常见的SQL是比较高层级的语言,比较容易用,写一次可以重复在不同的方面使用。Teradata多年的大量数据分析都是用SQL做的,“Teradata在SQL这方面的大容量数据库,支持TB级以及PB级,有很多很多客户。”但是,SQL也会存在诸如匹配性弱,导致一些问题用SQL表达不出来,或是要写十页、二十页脚本,所以做起来麻烦,而且效率低。

丁慧茹 来源:ZDNet CIO频道 【原创】 | 2012年12月14日

关键字:大数据 Teradata Hadoop 零售业 金融

Teradata Aster 大数据综合分析平台:让数据活起来

说了这么多Aster能做的,那么到底是怎么做的呢?这次孔宇华来中国任职,首先就向媒体介绍了业界首款整合大数据分析平台:Teradata Aster大数据综合分析平台。

弄清这个平台的优势,得先搞清楚几种分析语言的优劣势了。常见的SQL是比较高层级的语言,比较容易用,写一次可以重复在不同的方面使用。Teradata多年的大量数据分析都是用SQL做的,“Teradata在SQL这方面的大容量数据库,支持TB级以及PB级,有很多很多客户。”但是,SQL也会存在诸如匹配性弱,导致一些问题用SQL表达不出来,或是要写十页、二十页脚本,所以做起来麻烦,而且效率低。

随着技术演进,于是就有了MapReduce,其实这是Google在2001年开始使用的,借其来做搜索引擎应用,后来雅虎把MapReduce做出来,就演变成了现在的Hadoop。MapReduce的优势是,可以扩展很大的数据容量,达到百台、千台服务器,而且编程使用起来灵活,且具有较好的变成模式。但是要想利用好MapReduce,操作人员必须要有很好的编程背景,因此当用到一些通用算法时,用MapReduce来做就显得比较慢了。

基于这样的背景,Teradata Aster就研发了SQL-MapReduce这个专利,其实一个并行的平台,可以处理大容量的数据,加几个服务器,就可以储存和处理、分析更多的数据。这就是Aster最开始做的。

而面对如今大热的Hadoop,Aster和Hadoop在大数据框架中又各自承担着不同的角色。

Aster适用于快速互动分析不同结构化的数据、非结构化数据、多结构化数据,而Hadoop的门槛比较高,因此,“在处理大数据的时候,企业可以在Aster上先做一些快速的开发以最快的速度获得价值,然后在数据量很大的时候,再开发一个Hadoop平台做存储、转换的处理。”

做大数据分析?来把瑞士军刀:Teradata Aster 大数据综合分析平台

基于这样的优劣势互补,最后的成果就是Teradata Aster大数据综合分析平台,结合了Teradata的数据仓库和Aster的大数据探索平台,加上Hadoop做大数据的储存平台。

其中,Teradata是一个并发的数据库,而Aster是一个并发的操作系统,里面有数据库,有MapReduce的引擎。而Hadoop的起点是一个文件系统,文件系统做大量的分析计算会比较慢,比如没有数据库现成的优化,做一些基本的排序都会比较慢。

“企业可以在Teradata上会做一些比较传统的SQL方面的分析,如果开始有一些非结构化大数据的分析,或者SQL以外的分析,可以用Aster来做,当数据量加大了,可以用比较经济的Hadoop平台上做储存或者数据预处理的工作。在这三个系统之间,借助Teradata的统一数据架构,我们研发了高速的连接器,Aster和Hadoop之间用了一个SQL-H连接器,是跟Hadoop的厂家Hortonworks合作的。”孔宇华补充到。

而这个平台不仅仅是软件,还有硬件的搭配,更是一个大数据分析领域实现最深度集成的代表。从其所实现的功能和软硬件架构来看,可以总结几条亮点:

1、运用了Aster SQL-MapReduce专利,可在机柜内配置Aster服务器,也可以配置Hadoop服务器,也可二者混搭。服务器台数,可按照企业需求进行延伸扩展。

2、支持商用的商业智能BI和ETL工具,诸如Microstrategy、Tableau、Informatica 等。

3、在后方基础架构上,可以用40Gb/s的高速网卡连接,做到了很好的数据转移网络,可以在Aster和Hadoop之间实现高速数据转移。

4、实现统一管理。借助Teradata的Viewpoint,从硬件的管理,如交换机、磁盘等,到操作系统,再到软件,以及最后的数据管理等都是统一进行的。

另外,Teradata Aster还能够支持通用平台部署,以及云端的部署等。

这样一款前瞻、易用、强大的综合分析平台必定会激发和领导目前大数据市场。Aster在国外有很多成功案例,而Teradata以往擅长的金融、电信等领域也率先绽露快速的需求,而结合双方的实力,孔宇华认为未来Aster所要进入的中国行业市场更为广泛,诸如金融、零售、政府、医疗、制造业等等。在这个鲜见大数据成功落地的时代初期,Teradata Aster大数据综合分析平台是跨行业的一个平台,同时也会根据行业的特征进行相应的定制等,成为市场上“言必行、行必果”的先行者。
其实,在大数据时代来时,一方面一些企业庆幸自己将有着更多机会占领市场,因为这个时代拼的是谁了解客户;另一方面,企业又苦恼于这些数据获取之后如何真正的活起来,为企业所用。而厂商呢,一方面很多厂商会高呼他们的时代终于来了;另一方面,又要更加关注企业到底要什么。厂商提供给客户的是工具、技术和产品,更应该是一把“瑞士军刀”,企业的分析人员可以用最合适的工具来完成工作。而企业提供给客户的则是正确时间、正确地点里的一瓶正确品牌的“啤酒”。

ZDNet周刊订阅

人物

IT采购指南

  • 整体竞争力榜
  • 云计算能力榜
  • 最具人气榜
  • 1

    IBM

    8.9

  • 2

    惠普

    8.6

  • 3

    东软

    8.4

  • 4

    甲骨文

    8.4

  • 5

    用友

    8.4

  • 6

    SAP

    8.4

  • 7

    Teradata

    8.4

  • 8

    H3C

    8.4

  • 9

    赛门铁克

    8.4

  • 10

    华为

    8.3

白皮书

推荐词条