Tap4Fun利用AWS进行大数据分析支持世界级游戏运营

ZDNET至顶网CIO与应用频道 04月07日 人物访谈（文/王聪彬）：创业型企业相对于传统企业的不同，在于他们开阔想象力以及创造力。Tap4Fun有5位最尊敬的人，前四位大家都比较耳熟能详的名人阿梅莉亚·埃尔哈特、爱因斯坦、史蒂夫·乔布斯、埃隆·马斯克，最后一位是游戏圈大牛陈星汉。

从进入Tap4Fun到同几位技术大拿交谈，无不感觉出这是一家颇具“极客”风范的企业，而Tap4Fun的梦想也是做出一款世界人都在玩的在线游戏。筑梦者在前行中必然会遇到重重阻碍，而AWS成为了抚平前路的基石，在帮助Tap4Fun灵活有效开展国际化业务，保证数据安全性的同时，开展灵活高效的大数据分析，支持世界级游戏运营。

Tap4Fun 技术团队：由左至右依次为数据部主管官俊（左一）、运维工程师 胡雷、技术总监Mark Xu（左三）、运维部副经理孙秀澄（左四）

云计算是必然选择

上世纪70年代，考古学家Zecharia Sitchin发掘了6000年前的苏美尔文明遗迹，并发现了一张雕刻在石板上的星图，上面标有十二个天体，除了古代人类就能观测到日、月、水、金、火、木、土以及地球本身之外，还有古代人类不可能发现的天王星，海王星的存在，还剩下的一颗则是连现代人类都没能发现的星球——尼毕鲁。

故事中的这一颗神秘行星“尼毕鲁”也成为了Tap4Fun的中文名，成都尼毕鲁科技股份有限公司。2008年成立的Tap4Fun，初期以面向欧美的软件外包服义务为主。从2011年7月，才陆续推出了移动游戏，如《海岛帝国》、《银河帝国》、《王者帝国》、《斯巴达战争》等，也奠定了今日的游戏帝国地位。

Tap4Fun系列游戏

Tap4Fun主要专注SLG（策略游戏），主要在iOS平台，2011年覆盖了安卓平台。其同中国的大部分公司有很大区别，并不限于中国而是主要关注全球市场，业务主要分布在海外。

半路出家的Tap4Fun经过长期积累已经具备了坚实的技术能力，但在海外发展业务如何服务到终端用户还是一个难题，尤其在业务还是用户体验要求极高的在线游戏，云计算也成为帮助Tap4Fun将服务送达到世界各地用户的触角。

自建机房的投入产出比对于一个创业公司并不划算，而AWS拥有全球分布节点，合作也变得顺理成章。Mark表示，由于Tap4Fun的业务特征是手机游戏，所以同AWS的合作不仅仅在计算和存储，还包括很多服务，例如CDN。并且在手游在不同生命周期中，对服务器的数量和需求都有比较大的差异，所以弹性灵活也是选择AWS的其中一个原因。

Tap4Fun技术总监Mark Xu

借助AWS高度融合性可以满足Tap4Fun的不同需求，例如开服、关服等，可以及时调整对不同类型资源的需要。这也让Tap4Fun可以把精力专注于游戏本身，而非信息化基础设施建设运维。“我们需要的是对玩家的需求快速响应、游戏的快速迭代、减少运维成本，以及最重要的服务器稳定性。”Mark说道。

利用API接口自建控制台

基于云服务的灵活性、可靠性、安全性等需求，Tap4Fun选择了AWS的Amazon EC2、Amazon EMR 、Amazon S3、Redshift等服务。

具体使用上，Amazon EC2为Tap4Fun提供了大小可调的计算容量，并且EC2的Web服务接口非常简单，Tap4Fun可以轻松获取及配置容量。Amazon Virtual Private Cloud（VPC）可以使Tap4Fun在云中预配置出一个私有、隔离的部分，使其可以在自定义的虚拟网络中启动AWS资源，保证安全性。

运维部副经理孙秀澄还展示了一些具体的变化，因为全球化业务对于服务器响应相应非常重要，Tap4Fun的服务器目前已经达到一个高峰，随着进一步优化产品，架构也从之前的单台服务器变成了一个庞大的系统，包括平台、数据仓库、前端、中断、后端。

响应速度的要求，即开服速度也成为挑战之一。Tap4Fun在2013年9月开始通过AWS的API接口研发，历时两年开发出属于自己的控制台，避免了员工直接在AWS控制台操作不当所带来的风险，并且进行管控权限，让运维变得的更加轻松，同时适应快速变化的业务。

Tap4Fun利用AWS API开发的控制台

未来还计划使用AWS的Docker来完成代码部署，实现自动化部署。其次使用更匹配的硬件，提高系统安全性并且节约成本。最后构建自动化管理服务，例如当服务器宕机或出现异常了， AWS的新实例可以来帮助运维，进行更好地的管理服务器。

Amazon EMR构建大数据分析

数据量极大：Tap4fun游戏数据除了生产量大外，还分布在不同的逻辑服务器上，这对于数据管理以及分析都极为困难。未来保证数据存储的高效、安全、完整，Tap4Fun需要大数据平台存储并管理这些数据。

数据分析需求多：Tap4fun需要针对每日生成的数据进行分析和统计，包括DAU、DNU、留存、流失、用户分布、付费喜好、渠道假量排查等。而通过MySQL数据库中进行操作，耗时长且资源占用比较高，Hadoop平台则可以很好地满足需求。

灵活可变的集群：Tap4fun需要灵活、可配置的集群环境，根据实施的业务需求，改变现有集群的全、硬件环境，常规的数据仓库的系统环境变更代价高，耗时长，Hadoop的架构则是不二选择。

基于以上三点需求，Tap4fun使用了AWS的大数据平台，搭建了Hadoop集群从Hadoop v1.20逐渐升级到v2.20版本。目前根据配置了八个节点高配置集群，每天增量达到几十G，并通过Amazon RBS存储。

第一阶段使用Hive进行数据处理，现在很多模型计算根据个人业务场景计算，所以处理时间将达到6-7小时，之后还将使用Spark承担Hive一些响应速度较高的查询。第二阶段使用Amazon EMR基于工作类的MapReduce，目前使用的EMR版本是v3.3.1，存储选择Amazon S3。

自建Hadoop同Amazon EMR比对

“Amazon EMR带来了四大改善，第一，根据实际需要开关灵活可操控性强；第二，Amazon S3存储保证安全性；第三，节省成本；第四，运行效率提升。”数据部主管官俊说道。