科技行者

行者学院 转型私董会 科技行者专题报道 网红大战科技行者

知识库

知识库 安全导航



ZDNet>CIO与应用频道>新闻>做大数据分析?来把瑞士军刀:Teradata Aster 大数据综合分析平台

  • 扫一扫
    分享文章到微信

  • 扫一扫
    关注官方公众号
    至顶头条

弄清这个平台的优势,得先搞清楚几种分析语言的优劣势了。常见的SQL是比较高层级的语言,比较容易用,写一次可以重复在不同的方面使用。Teradata多年的大量数据分析都是用SQL做的,“Teradata在SQL这方面的大容量数据库,支持TB级以及PB级,有很多很多客户。”但是,SQL也会存在诸如匹配性弱,导致一些问题用SQL表达不出来,或是要写十页、二十页脚本,所以做起来麻烦,而且效率低。

来源:ZDNet CIO频道 【原创】 2012年12月14日

关键字:金融 零售业 Hadoop Teradata 大数据

ZDNET至顶网CIO频道 12月14日 综合消息(文/丁慧茹): 都知道美国超市SuperValue利用数据分析实现的啤酒和尿布营销的故事,但是其背后的IT架构具体是怎样的呢?啤酒尿布是一个很典型的利用产品关联性分析得出的结果,在实现将啤酒和尿布真正的放在一起之前,先看看这家超市所面临的问题。SuperValue很早就开始尝试做关联分析,但是他们一共有13个集团超市,在一个集团里做一项产品关联分析就需要四个小时,所以当业务部门提出这个需求的时候,IT部门傻了,因为时间太长,因此关于这方面的深入分析业务部门也就不再提。

但是做这些分析,却对超市里面的产品摆放有着很关键的作用,可能也会是所谓”营销的最后一里”。因为当产品促销时,必然会考虑要牵涉哪些产品,同时消费者购买产品时,超市也应足够考虑向其推荐关联产品。那用最短的时间实现关联分析,又是SuperValue必须做的。最后他们选用的产品是Teradata的Aster Data平台,通过这个平台,过去只能做到13周的数据关联性分析,现在在2分钟就可以实现过去8年的数据关联分析。针对相关的需求,SuperValue的分析师发现:一、两类产品的关联度最大;二、通过可视图图形发现两个产品的反方向关联;三、从2004年起纸巾和饮料的关联度在下降。

这就是啤酒尿布案例背后的故事,而目前这家超市也在运用Aster的平台做更多的分析,需要更加了解在不同的区域、不同的年龄段做更细的分析,以完成零售业营销的最后一里。

你的企业有营销“最后一里”的困惑吗?

孔宇华2008年加入Aster Data的研发团队,在2011年Teradata收购Aster时,孔宇华正负责Aster的咨询团队、客户服务团队和培训团队。2012年,孔宇华来到中国,任Teradata天睿公司大中华区Aster事业部总监。其实Aster在国外有很多的成功案例,诸如我们前文提到的SuperValue的应用,还有诸多电信、金融、零售、电商等领域的企业采用Aster的平台来进行数据分析。

孔宇华在日前和北京媒体的见面会上,分享了Aster的一些经典案例。其中有两个关于银行的应用,非常典型地体现了目前众多领域对客户分析的重视和需求。

据介绍,一家银行的需求是通过不同的渠道分析客户,让他们更了解客户的行为,其中主要关注两点:一是在客户关闭账户之前,他们是不是有些可以辨认的行为模式;二是客户在购买新产品之前是不是也会表现出不同的行为特征。

做大数据分析?来把瑞士军刀:Teradata Aster 大数据综合分析平台

在以往所采用的分析方法中,诸如SQL等,可以依靠其他的预测交易的一些模式,来发现一个客户可能购买哪些产品,但是无法算出这个行为会在什么时间发生。Aster所做的是通过路径分析模式,让银行不仅知道客户存在流失的可能性,同时可以计算出流失的时间,这样提供给该银行的是在什么时间进行补救更加合适。

孔宇华告诉记者,在这个案例中,Aster综合了网上银行、客户打电话的信息、ATM信息等进行综合分析,然后给银行的业务人员形成一个可视化的视图,清晰地观察到哪些客户会关闭账户,以及他们所走的路径等。这就是这家银行利用数据分析所实现的营销最后一里,清晰地知道每个客户的行为路径和由此得出的规律。

其实在很多领域都存在着这样的需求,比如现在大热的电商。这些企业都会关注客户浏览路径的分析,以更加了解这个客户以后会购买什么产品。这些产品关联分析,同时如今社交也是不可忽视的一个趋势,这就涉及到了社会分析方面的关联分析了。如通过一个人影响更多人,那如何知道这个人会影响哪些人呢?孔宇华指出,其实现在的电话清单是每个人社会网络最好的呈现,可以通过一个人的通话信息分析出其社会交往圈子,以及他所能影响的人群和自己受影响的人群。

“通过一个人的网络找到影响者,通过这些影响者可以做很多事情:一、如果新的产品出来,可以在影响者身上做营销,这比随机营销更有效,大概会高出20%的收益;二、做一些客户流失的分析,如果看到影响者开始流失了,就需要付出更大的代价留住他们,因为其流失不仅仅是他们自己;三、做一些合作,将同样兴趣和消费习惯的客户带到一起,创建一个圈子,这样可以开发共同兴趣的产品和服务。”孔宇华总结到。

我想,目前所有的领域都希望做到这些,不仅仅是实现营销最后一里,更是希望在如今这个竟争更加复杂的时代,可以做到更多,同时让企业积累的数据能有用武之地。

Teradata Aster 大数据综合分析平台:让数据活起来

说了这么多Aster能做的,那么到底是怎么做的呢?这次孔宇华来中国任职,首先就向媒体介绍了业界首款整合大数据分析平台:Teradata Aster大数据综合分析平台。

弄清这个平台的优势,得先搞清楚几种分析语言的优劣势了。常见的SQL是比较高层级的语言,比较容易用,写一次可以重复在不同的方面使用。Teradata多年的大量数据分析都是用SQL做的,“Teradata在SQL这方面的大容量数据库,支持TB级以及PB级,有很多很多客户。”但是,SQL也会存在诸如匹配性弱,导致一些问题用SQL表达不出来,或是要写十页、二十页脚本,所以做起来麻烦,而且效率低。

随着技术演进,于是就有了MapReduce,其实这是Google在2001年开始使用的,借其来做搜索引擎应用,后来雅虎把MapReduce做出来,就演变成了现在的Hadoop。MapReduce的优势是,可以扩展很大的数据容量,达到百台、千台服务器,而且编程使用起来灵活,且具有较好的变成模式。但是要想利用好MapReduce,操作人员必须要有很好的编程背景,因此当用到一些通用算法时,用MapReduce来做就显得比较慢了。

基于这样的背景,Teradata Aster就研发了SQL-MapReduce这个专利,其实一个并行的平台,可以处理大容量的数据,加几个服务器,就可以储存和处理、分析更多的数据。这就是Aster最开始做的。

而面对如今大热的Hadoop,Aster和Hadoop在大数据框架中又各自承担着不同的角色。

Aster适用于快速互动分析不同结构化的数据、非结构化数据、多结构化数据,而Hadoop的门槛比较高,因此,“在处理大数据的时候,企业可以在Aster上先做一些快速的开发以最快的速度获得价值,然后在数据量很大的时候,再开发一个Hadoop平台做存储、转换的处理。”

做大数据分析?来把瑞士军刀:Teradata Aster 大数据综合分析平台

基于这样的优劣势互补,最后的成果就是Teradata Aster大数据综合分析平台,结合了Teradata的数据仓库和Aster的大数据探索平台,加上Hadoop做大数据的储存平台。

其中,Teradata是一个并发的数据库,而Aster是一个并发的操作系统,里面有数据库,有MapReduce的引擎。而Hadoop的起点是一个文件系统,文件系统做大量的分析计算会比较慢,比如没有数据库现成的优化,做一些基本的排序都会比较慢。

“企业可以在Teradata上会做一些比较传统的SQL方面的分析,如果开始有一些非结构化大数据的分析,或者SQL以外的分析,可以用Aster来做,当数据量加大了,可以用比较经济的Hadoop平台上做储存或者数据预处理的工作。在这三个系统之间,借助Teradata的统一数据架构,我们研发了高速的连接器,Aster和Hadoop之间用了一个SQL-H连接器,是跟Hadoop的厂家Hortonworks合作的。”孔宇华补充到。

而这个平台不仅仅是软件,还有硬件的搭配,更是一个大数据分析领域实现最深度集成的代表。从其所实现的功能和软硬件架构来看,可以总结几条亮点:

1、运用了Aster SQL-MapReduce专利,可在机柜内配置Aster服务器,也可以配置Hadoop服务器,也可二者混搭。服务器台数,可按照企业需求进行延伸扩展。

2、支持商用的商业智能BI和ETL工具,诸如Microstrategy、Tableau、Informatica 等。

3、在后方基础架构上,可以用40Gb/s的高速网卡连接,做到了很好的数据转移网络,可以在Aster和Hadoop之间实现高速数据转移。

4、实现统一管理。借助Teradata的Viewpoint,从硬件的管理,如交换机、磁盘等,到操作系统,再到软件,以及最后的数据管理等都是统一进行的。

另外,Teradata Aster还能够支持通用平台部署,以及云端的部署等。

这样一款前瞻、易用、强大的综合分析平台必定会激发和领导目前大数据市场。Aster在国外有很多成功案例,而Teradata以往擅长的金融、电信等领域也率先绽露快速的需求,而结合双方的实力,孔宇华认为未来Aster所要进入的中国行业市场更为广泛,诸如金融、零售、政府、医疗、制造业等等。在这个鲜见大数据成功落地的时代初期,Teradata Aster大数据综合分析平台是跨行业的一个平台,同时也会根据行业的特征进行相应的定制等,成为市场上“言必行、行必果”的先行者。
其实,在大数据时代来时,一方面一些企业庆幸自己将有着更多机会占领市场,因为这个时代拼的是谁了解客户;另一方面,企业又苦恼于这些数据获取之后如何真正的活起来,为企业所用。而厂商呢,一方面很多厂商会高呼他们的时代终于来了;另一方面,又要更加关注企业到底要什么。厂商提供给客户的是工具、技术和产品,更应该是一把“瑞士军刀”,企业的分析人员可以用最合适的工具来完成工作。而企业提供给客户的则是正确时间、正确地点里的一瓶正确品牌的“啤酒”。

综合评分:8.38667 分
云能力:8.2 分
营业额:26.9亿美元[2013]
云服务:Teradata ADW

查看更多 >>

推广二维码
邮件订阅

如果您非常迫切的想了解IT领域最新产品与技术信息,那么订阅至顶网技术邮件将是您的最佳途径之一。

重磅专题