航空公司大数据建设的思考

ZDNET至顶网CIO与应用频道 10月13日 北京消息：主题为“科技整合·智汇航行”的2014年航空用户大会在青岛召开，文思海辉首席架构师李飞介绍了目前大数据的趋势以及航空领域的大数据应用场景和实践。

航空公司对大数据的应用领域包括：客户全生命周期与旅客管理，对客户行为分析、网购行为分析，用社交网络进行营销推广等。李飞表示，文思海辉在航空大数据应用上可以提供一系列的数据处理工具、数据采集工具、数据管理管理，甚至去跟客户量身定制一些具体的数据处理方法，从而实现智慧数据的想法。

文思海辉首席架构师李飞

以下为演讲实录：

大数据真正火起来是近两年，随着社交网络、移动应用的发展，包括三个V：数据量、数据速度、数据种类越来越多，所以才有了大数据新的一些技术、应用，涌现出来。实际上，最早大数据2001年就被提出来了，但那时候数据还不够大，所以没有引起大家的注意。

乘客对航空公司而言，是可以自动上下机的货物。虽然，航空公司在乘客购物、消费、享受服务的过程中，有一些信息的追踪等等这些东西，但是并没有把每位乘客的个性化的特点彰显出来、利用出来，提供特定的服务。就像货物一样，现在货物都有追踪的功能了。

所以我们想到，很多航空公司，尤其是我们看到刚才吴锦有分享的，国外的像美联航、西南、英航，等等这些公司，都在从自动上下的货物，从人身上考虑，让这些人多购买航空公司体的服务。所以，这让我们看到了大数据在航空业应用里面一个很重要的方向。

我今天给大家介绍一下，包括大数据现在发展的一些数据，我们看到现在在航空业大数据的应用，还有大数据的技术，如果要做大数据的话该怎么入手，后面该怎么规划我们的路线，另外文思海辉这几年在大数据上也投入蛮多的，包括美国、中国。文思海辉在大数据这个领域，尤其结合传统各个行业的解决方案，也在不断寻求一些突破。

左边我们看到了一些传统大家都很熟悉的BI，右边是大数据现在对传统BI带来了一些变化。比如，传统叫统计分析，现在我们更强调预测分析、原因挖掘。原来我们有很多很多统计学的算法，现在有继续学习的很多算法，包括百度，在Google大脑团队里找专家来做百度的大脑，都是要做预测分析。包括从有目的的去做数据挖掘，数据分析一步步的实施，到小批量、循环实验，发现大数据的各种可能性。

Gartner去年的报告还在讲大数据到底是什么，大数据应该怎么用。今年，提出跟我们提出的不谋而合，应该利用企业混合的数据架构，一起为企业提供服务。

无论是传统的数据还是新的数据，如何从大数据中分析出有用的信息，然后形成决策建议支持人类的活动，这样一个循环是非常重要的。只是说我们现在有很多所谓大数据的手段，来搞全量数据。然后，我们通过继续学习，而不是通过统计分析，然后我们搞很多很多算法，帮我们更有质量的处理一些数据。其实，这是我们看到在大数据方面的一些趋势。

这是我们文思海辉一直努力做的，如何让数据能够在智慧航空、智慧企业里面发挥作用，所以搞了智慧数据。对我们航空公司而言很重要的一点，我们要应用大数据的手段，以智能分析为核心，去收集所有的客户触点上的信息，形成客户体验的决策支持。反过来，又把这些智能应用到所有的客户触点。

这点在零售业、银行业，都在做这种概念，而且有些企业已经开始真正的动手去做全触点的服务。有了这些，我们就可以打造智能工厂化全局的BI商务职能，来支持我们个人的BI、团队的BI、公司整体的BI。

所以，文思海辉现在谈到商务智能和大数据的时候，以这样的首要目标切入，然后提供一系列的数据处理工具、数据采集工具、数据管理管理，甚至去跟客户量身定制一些具体的数据处理方法，从而实现智慧数据的想法。

举个例子来说，这是我之前给银行做的一个架构，很粗糙。如何把大数据放在传统的商务智能、EDW、ODS，以及系统交换平台里面去？大数据平台，我们可以作为EDW的辅助作用也好，独立发挥作用也好，处理原来数据仓库不太容易处理的信息，然后把它提供给数据分析工具，提供给EDW处理过精华的信息，再回到EDW里面去。成熟的分析工具也好、开源的分析工具也好，我们都在想怎么基于大数据做更好的分析挖掘处理，服务于前面的数据应用。

了解了这些基础，我们来看一看航空公司对大数据的应用。刚才吴锦有已经介绍到了几个，大家不谋而合我也举了这样一些例子，包括美联航、西南、英航，都在以客户体验入手，更好的了解客户，提供定制化的服务和定制化页面，甚至定制化的价格。还有一些小公司，像阿联酋、阿拉伯的，连他们都开始做这些事情了。还有像比较有意思的阿拉斯加航空，以前都没听说过，他在跟GE搞一个合作，利用GE这边的机器数据，寻找燃油成本最低、效率最高的方案，可以GE引擎的数据做一些分析。国内也有一些公司在大数据方面的应用，大家或多或少也都了解一些。

航空公司对大数据的应用领域包括：客户全生命周期与旅客管理。客户行为分析、网购行为分析。然后挖掘你怎么的分析。用社交网络进行营销推广。基于这些信息，我们可以建设一个真正的客户360度视图，也可以叫3D客户视图。基于这个视图，我们再去做全渠道营销，把各种各样的渠道接触方式统一起来管理。最后还有一点，也是我们跟GE和其它制造业有些合作的，利用机器数据做预防性维修的场景，其实航空公司也可以用到。

这个是客户旅程管理，现在很多企业都在搞跨界合作为乘客提供服务，你可以和目的地提供合作，也可以和某个电子商务公司合作。这些，都属于整个旅程管理的范畴，对客户来讲可以利用它进行比价、查询，这是售前的工作，还有售中买票的工作，之后在机场乘机，同时还有一些目的地的服务。

我们说乘客的消费过程，中间有很多渠道，大家可以利用这些渠道做营销、做服务，其中非常流行的是社交媒体。之前有一个统计，美国有一个消费者满意度调查，每年花很多钱做客户对哪个品牌是不是满意。后来有人做了一个实验，在推特上找了一些相关的旅客，然后对这些数据进行情感分析。拿出来的结果和他花大价钱做的消费者满意度指数调查，不相上下。这也说明，现在在社交媒体上，大家发出的声音，其实和我比较专业的调查结果，可能是差不多的，而且可能更真诚一些。所以，社交媒体是个很好的运用手段，也是我们将来做大数据客户营销很重要的一个数据来源，也是一个营销的渠道。电子商务、呼叫中心、网站只是我们售前和卖票的过程，然后机场服务、目的地信息。

用户可能会选择这样一条路线走完他的旅程，但如何让用户在这个过程中全面感受到我们服务的优异，愿意下次再乘坐我们飞机的客户？也许我有常旅客卡，我就尽可能订这个航空公司，因为我觉得他提供的服务还可以。但对一些非常旅客，或者非我公司的常旅客，如何把他们变成我们的常旅客？这我们就需要想办法提供让用户认可的服务，不仅成为我们的常旅客，甚至让他们成为我们的粉丝，帮我们推广。

后面还包括网购行为的分析，很简单，我们可以用探针，可以用旁路一些别的方式，来把客户从哪来到哪去，全部都集成进去分析。我们也会有一些小的工具和产品，帮助大家做到这一点。粉丝的挖掘，微博、微信用户应用的越来越多，如何利用这些社交媒体帮我们创造价值？还有一些网络论坛，我们如何在其中找到我们的粉丝？都可以做很多渠道上的数据挖掘和分析。

具体来讲，这就是开源数据收集的过程，哪些是我们的常旅客、哪些是我们的潜在旅客。通过API也好、爬虫也好，把这些数据收集到我的大数据平台，再结合我内部的消费数据来看，到底什么样的人选择我们的多，投诉的多。再结合这些不同的信息给客户打要钱，对他们分类，识别他们的抱怨也好、建议也好，找到相似性的客户，还有客户关系的图谱，最终找到可以影响一片人的分析或者意见领袖，把潜在用户升级成为我们真正的粉丝。这当中就涉及到大数据分析的过程和一些技术。

用户的360度视图，其实早就有这个概念，就是看你到底多少度嘛，有些人10度、有些人360度，有些人真的是3D，通过这些就真的可以做出正确的预测，根据用户的这些信息预测出我的某一个营销手段、服务手段，是不是能够吸引他，我该给他推荐什么。要做到这一点，客户的信息我们到底要拿到哪些纬度。像美联航他们，号称有150个纬度，像我们做银行，有1000多个纬度。这些信息传统分析，我们把它建成主题模型，基本信息、管理信息、地理位置信息、身份信息，等等，把这些组织起来放在这里。另外我们看到的黄色，原来我们考虑客户信息的时候对这些是不关心的，慢慢这些信息将会更影响我们将来对客户营销的选择，像利润贡献度、兴趣偏好，等等。

基于这些刚才谈到更多渠道的客户信息，我们就可以更好的设计全渠道运营，把我们各种渠道里面的信息来源，整合起来，全面的了解客户，包括对我们的客户决策，包括每个客户不同的认识，然后形成客户小批量的营销决策，然后管理我们的外向营销渠道、内向营销渠道，然后做一些搜索引擎优化这些功能，都可以在这里框架性的实现。这是其它一些航空公司，也有的是一些旅游网站。

这里还有最后一个小的应用场景，我们叫做与忙性维修的场景。这里的数据单位是T、P、E、Z，每年这些航空公司产品的数据，大概有2ZB的数据量，这些数据航空公司要求我们储存下来，储存下来干嘛？来做预防性的维修。我们可以用回归、决策树，来做出进一步的数据分析，这些技术性的就不展开讲了。

应用有了，怎么做？里面有太多的技术，没法展开讲，有兴趣的可以我们私下交换一些技术上的看法，但这里是不完全的一个跟大数据里面Hadoop相关的一些公司或者产品。核心来讲，其实大家现在谈大数据谈这么火，也是因为Hadoop比较牛，Hadoop比较牛其实是两点：一个是低成本，一个是批量处理大数据。

大数据如何和数据仓库结合？当然有很多不同的技术处理方式，包括把大数据里面经过加工转换，抽取一些有进一步分析价值结构化的数据，当然EDW是一种，还有一种是大数据利用Hadoop来做数据挖掘，还有一种是后面的分析应用，再去使用EDW和Hadoop大数据的时候，我们要实现所谓的透明访问，要打通EDW和大数据端口，这在很多成熟的商用大数据产业里面都有。我不需要特别牛的Hadoop的人，也能实现Hadoop的一些功能，这就要保证Hadoop真正走向普罗大众所有人都玩得起的时候，这就是很关键的。

简单看一眼，懂技术了，我们该怎么做？如果做大数据项目，我们不能采用传统做BI分析的做法来做。因为，BI是你明确知道你想干什么，要画一个仪表盘，要出一个报表，但在大数据里面，如果知道这些数据就不用大数据做了，用传统BI就好了。现在，有这么多维度，有几百个T的数据，帮我看看这些数据里能做出什么有价值的东西来？一开始我只知道个大概的方向，说我要提升用户体验，帮我看看怎么做，具体能做出什么来，然后需要用什么算法来做。

但开始做大数据之前，大家要明确，我做大数据不是为了用Hadoop的大数据，我要公司里面的数据有基础，很多企业已经开始做所谓的数据文化，有专门的团队、组织，管理这些数据、应用这些数据。然后，你的目标和方案是什么？不是说没有目标，有一个大的方向和目标，然后我再去寻找具体的手段解决问题，选择一些切实可行的KPI，来衡量我最终算法的效果如何。另外，从小做起，把全渠道都整合好，一步步来，先做试点，把我们的技术也好、能力也好，慢慢的搭建起来，然后再进行推广。

从评估、分析、规划三个阶段，要对我们的业务方案、技术方案和数据，进行评估，其实可以自己简单来做，也可以做这样一个咨询规划，像我们给一些企业做了这样的咨询规划，帮他看现在的数据状况怎么样，需求在哪里。然后，设计具体的技术方案、算法，定一些路线图。这是在实施路径上来讲，怎么样从平台建设、团队建设、数据建设、应用建设几个角度，一步步的去把我们大数据应用拓展下来。

刚才介绍的这些应用，很多是业界看到的很多思考，文思海辉具备这些技术能力，能够帮大家把这些应用落实、落地，这是很多客户比较看中文思海辉能做这些事情的原因。基于大数据的平台优化，以及真正帮客户搭建一些应用。在大数据的技术领域里面，数据仓库、数据集成、数据处理，Hadoop的一些相应技术，都需要有相应的技术人员。尤其在分析领域，我们结合各个行业的业务实践、业务专家，来选择合适的分析算法，实现我们业务的优化。比如说在这里面我们给银行做的360度视图，呼叫中心的数据分析，这都是结合大数据的具体解决方案。