Tap4Fun利用AWS进行大数据分析支持世界级游戏运营

作者:王聪彬   【原创】   2015-04-08 09:00:00

关键字: 游戏 大数据 云计算 Tap4Fun

从进入Tap4Fun到同几位技术大拿交谈,无不感觉出这是一家颇具“极客”风范的企业,AWS也成为了抚平其前路的基石,在帮助Tap4Fun灵活有效开展国际化业务,保证数据安全性的同时,开展灵活高效的大数据分析,支持世界级游戏运营。

ZDNET至顶网CIO与应用频道 04月07日 人物访谈(文/王聪彬):创业型企业相对于传统企业的不同,在于他们开阔想象力以及创造力。Tap4Fun有5位最尊敬的人,前四位大家都比较耳熟能详的名人阿梅莉亚·埃尔哈特、爱因斯坦、史蒂夫·乔布斯、埃隆·马斯克,最后一位是游戏圈大牛陈星汉。

从进入Tap4Fun到同几位技术大拿交谈,无不感觉出这是一家颇具“极客”风范的企业,而Tap4Fun的梦想也是做出一款世界人都在玩的在线游戏。筑梦者在前行中必然会遇到重重阻碍,而AWS成为了抚平前路的基石,在帮助Tap4Fun灵活有效开展国际化业务,保证数据安全性的同时,开展灵活高效的大数据分析,支持世界级游戏运营。

Tap4Fun利用AWS进行大数据分析支持世界级游戏运营 

Tap4Fun 技术团队:由左至右依次为数据部主管官俊(左一)、运维工程师 胡雷、技术总监Mark Xu(左三)、运维部副经理孙秀澄(左四)

云计算是必然选择

上世纪70年代,考古学家Zecharia Sitchin发掘了6000年前的苏美尔文明遗迹,并发现了一张雕刻在石板上的星图,上面标有十二个天体,除了古代人类就能观测到日、月、水、金、火、木、土以及地球本身之外,还有古代人类不可能发现的天王星,海王星的存在,还剩下的一颗则是连现代人类都没能发现的星球——尼毕鲁。

故事中的这一颗神秘行星“尼毕鲁”也成为了Tap4Fun的中文名,成都尼毕鲁科技股份有限公司。2008年成立的Tap4Fun,初期以面向欧美的软件外包服义务为主。从2011年7月,才陆续推出了移动游戏,如《海岛帝国》、《银河帝国》、《王者帝国》、《斯巴达战争》等,也奠定了今日的游戏帝国地位。

Tap4Fun利用AWS进行大数据分析支持世界级游戏运营

Tap4Fun系列游戏

Tap4Fun主要专注SLG(策略游戏),主要在iOS平台,2011年覆盖了安卓平台。其同中国的大部分公司有很大区别,并不限于中国而是主要关注全球市场,业务主要分布在海外。

半路出家的Tap4Fun经过长期积累已经具备了坚实的技术能力,但在海外发展业务如何服务到终端用户还是一个难题,尤其在业务还是用户体验要求极高的在线游戏,云计算也成为帮助Tap4Fun将服务送达到世界各地用户的触角。

自建机房的投入产出比对于一个创业公司并不划算,而AWS拥有全球分布节点,合作也变得顺理成章。Mark表示,由于Tap4Fun的业务特征是手机游戏,所以同AWS的合作不仅仅在计算和存储,还包括很多服务,例如CDN。并且在手游在不同生命周期中,对服务器的数量和需求都有比较大的差异,所以弹性灵活也是选择AWS的其中一个原因。

Tap4Fun利用AWS进行大数据分析支持世界级游戏运营

Tap4Fun技术总监Mark Xu

借助AWS高度融合性可以满足Tap4Fun的不同需求,例如开服、关服等,可以及时调整对不同类型资源的需要。这也让Tap4Fun可以把精力专注于游戏本身,而非信息化基础设施建设运维。“我们需要的是对玩家的需求快速响应、游戏的快速迭代、减少运维成本,以及最重要的服务器稳定性。”Mark说道。

利用API接口自建控制台

基于云服务的灵活性、可靠性、安全性等需求,Tap4Fun选择了AWS的Amazon EC2、Amazon EMR 、Amazon S3、Redshift等服务。

具体使用上,Amazon EC2为Tap4Fun提供了大小可调的计算容量,并且EC2的Web服务接口非常简单,Tap4Fun可以轻松获取及配置容量。Amazon Virtual Private Cloud(VPC)可以使Tap4Fun在云中预配置出一个私有、隔离的部分,使其可以在自定义的虚拟网络中启动AWS资源,保证安全性。

运维部副经理孙秀澄还展示了一些具体的变化,因为全球化业务对于服务器响应相应非常重要,Tap4Fun的服务器目前已经达到一个高峰,随着进一步优化产品,架构也从之前的单台服务器变成了一个庞大的系统,包括平台、数据仓库、前端、中断、后端。

响应速度的要求,即开服速度也成为挑战之一。Tap4Fun在2013年9月开始通过AWS的API接口研发,历时两年开发出属于自己的控制台,避免了员工直接在AWS控制台操作不当所带来的风险,并且进行管控权限,让运维变得的更加轻松,同时适应快速变化的业务。

Tap4Fun利用AWS进行大数据分析支持世界级游戏运营

Tap4Fun利用AWS API开发的控制台

未来还计划使用AWS的Docker来完成代码部署,实现自动化部署。其次使用更匹配的硬件,提高系统安全性并且节约成本。最后构建自动化管理服务,例如当服务器宕机或出现异常了, AWS的新实例可以来帮助运维,进行更好地的管理服务器。

Amazon EMR构建大数据分析

数据量极大:Tap4fun游戏数据除了生产量大外,还分布在不同的逻辑服务器上,这对于数据管理以及分析都极为困难。未来保证数据存储的高效、安全、完整,Tap4Fun需要大数据平台存储并管理这些数据。

数据分析需求多:Tap4fun需要针对每日生成的数据进行分析和统计,包括DAU、DNU、留存、流失、用户分布、付费喜好、渠道假量排查等。而通过MySQL数据库中进行操作,耗时长且资源占用比较高,Hadoop平台则可以很好地满足需求。

灵活可变的集群:Tap4fun需要灵活、可配置的集群环境,根据实施的业务需求,改变现有集群的全、硬件环境,常规的数据仓库的系统环境变更代价高,耗时长,Hadoop的架构则是不二选择。

基于以上三点需求,Tap4fun使用了AWS的大数据平台,搭建了Hadoop集群从Hadoop v1.20逐渐升级到v2.20版本。目前根据配置了八个节点高配置集群,每天增量达到几十G,并通过Amazon RBS存储。

第一阶段使用Hive进行数据处理,现在很多模型计算根据个人业务场景计算,所以处理时间将达到6-7小时,之后还将使用Spark承担Hive一些响应速度较高的查询。第二阶段使用Amazon EMR基于工作类的MapReduce,目前使用的EMR版本是v3.3.1,存储选择Amazon S3。

Tap4Fun利用AWS进行大数据分析支持世界级游戏运营

自建Hadoop同Amazon EMR比对

“Amazon EMR带来了四大改善,第一,根据实际需要开关灵活可操控性强;第二,Amazon S3存储保证安全性;第三,节省成本;第四,运行效率提升。”数据部主管官俊说道。

    扫一扫

    分享文章到微信


    北京第二十六维信息技术有限公司(至顶网)版权所有. 京ICP备15039648号-7 京ICP证161336号京公网安备 11010802021500号
    举报电话:010-62641205-5060 举报邮箱:jubao@zhiding.cn 安全联盟认证