至顶网CIO与应用频道 05月17日 北京消息:
南京芝麻信息科技有限公司(以下简称“芝麻科技”)是国内知名的线下大数据服务公司,致力于线下消费者大数据的采集与精细分析,通过数据服务驱动商业效率的提升。芝麻科技的主要产品线是MOLLI,这是一组专门针对购物中心提升业务效率的数据分析解决方案,涵盖客流分析、广告营销等多个方面,目标是解决商场的引流问题以及品牌客户的精准广告投放问题。目前,芝麻科技已经在全国覆盖10万余消费生活场所、七亿部移动设备,日处理数据近百亿条。芝麻科技服务的客户包括宝洁、欧莱雅、欧时力、赫基、劲霸、北汽、福特、碧桂园、红星美凯龙、静安嘉里中心、佳兆业商业、虹悦城等国内外知名企业,服务的主要行业包括母婴、化妆品、汽车、房产、时尚等。
芝麻科技成立于2013年,是一家创业公司,为了快速开展业务,芝麻科技在成立之初就决定在云平台进行产品开发和部署。在迁移至AWS之前,芝麻科技使用了其他云服务商的云平台,通过在虚拟机上自建服务的方式来构建应用系统。随着业务的快速发展,这种方式的弊端开始显现出来,主要体现在三个方面:其一是用于数据采集的Kafka集群、用于数据分析的Hadoop集群都需要自己搭建并配备专门的运维团队,导致前期的学习成本和运维成本相对较高;其二是系统架构动态扩容不方便,为了满足系统的峰值需求,必须高配资源,这造成了极大的资源浪费,最严重的时候有2/3的计算资源都是闲置的;其三,为了提高系统的稳定性和可靠性,需要自行设计很多基础服务的高可用和高性能基础架构方案,显著增加系统的复杂性,使系统稳定性难以得到保障。“芝麻科技是创业公司,为了应对瞬息万变的市场需求,我们希望能把人力资源聚焦在应用的迭代开发上,而不是把大量的时间和精力都花费在IT基础设施的运维工作上。”芝麻科技联合创始人&CTO冯华寅说。2016年9月,芝麻科技加入了“AWS云创计划”,获得了免费的起步云资源、技术培训及支持服务,开始熟悉和了解AWS云服务。经过近一年的试用,芝麻科技从2017年底开始将其整个应用系统迁移至AWS ,借助AWS丰富的PaaS层服务,不仅极大地减少了对基础架构的人力投入,同时还大幅度提升了系统的稳定性、可靠性和动态扩容能力,促进了业务的快速增长。
作为创业公司,芝麻科技的目标是能实现产品的快速迭代,确保应用系统稳定可靠并具备优异的动态扩容能力,同时还能大幅度节省成本。基于这一目标,芝麻科技对比了市场上主流的云服务提供商,最终AWS以丰富的产品和服务、灵活的计费方式、完善的安全机制成为芝麻科技的不二之选。
丰富的产品和服务
AWS提供了丰富的产品和服务,完整地涵盖了计算、存储、数据库、迁移、网络和内容分发、移动服务、分析、管理、安全等用户需要的各个方面,这些产品和服务不仅极大地简化了应用系统的开发,同时还保证了应用系统的稳定性和可靠性。芝麻科技在迁移到AWS后,对原有的应用系统进行了结构升级,用Amazon Kinesis替代了原来的Kafka集群,用Amazon EMR替代了自建的Hadoop集群,利用Kinesis完成数据的实时聚合,它每小时可以从数万种来源(如网站点击流、财务交易、社交媒体源、定位追踪事件等)中持续捕获和存储TB级数据,并将数据传输给后续的Amazon EMR大数据处理系统进行分析处理。在这一过程中,进入系统的实时数据在处理之前都存储在Kinesis中,确保了整个系统的持久性和弹性。“AWS上丰富的托管服务使我们的开发人员无需再把大量的精力用于基础架构的维护,转而专注于核心业务系统的创新和开发。”冯华寅说。
灵活的计费方式
对所有创业公司来说,如何降低成本至关重要。在云资源的使用上,AWS提供了三种计费方式供用户选择,包括预留实例、按需实例和竞价实例,不同类型的实例价格差别很大,用户可以根据自己的实际应用需求进行选择,并利用AWS丰富的监控和管理工具,以自动化的方式随时进行调整,在确保系统可靠性和稳定性的前提下尽可能降低成本。例如,在芝麻科技的MOLLI系统中,大量的数据分析并不需要实时进行,因此可以在集中进行大数据处理时临时启动多个竞价实例来快速完成处理任务。“芝麻科技的业务发展非常迅速,我们很难提前数月预估所需要的计算资源,因此那种按年购买云资源的模式不适合我们。”冯华寅说。
完善的安全机制
芝麻科技为企业客户提供服务,因此系统与数据的安全性必须得到充分保障。AWS本身的架构设计、安全管理和丰富的安全服务功能为用户提供了基础架构层面的安全保障,用户只需要负责其应用系统本身的安全性即可。
此外,AWS专业的技术支持服务、极高的品牌知名度和丰富的云服务运营经验也是芝麻科技选择AWS的原因。
芝麻科技在2016年加入AWS针对创业型公司的云创计划,试用了大部分AWS云服务,并结合自身业务需求,重点评估了Amazon EMR、Kinesis、Amazon Relational Database Service (Amazon RDS)等服务。随后从2017年8月开始将整个系统向AWS迁移,经过迁移评估、架构设计、迁移规划、试运行、系统切换等一系列过程,成功地完成了整个系统的迁移和架构升级,所使用的AWS云服务包括Amazon Elastic Compute Cloud (Amazon EC2)、AWS Auto Scaling、Elastic Load Balancing、Amazon Simple Storage Service (Amazon S3)、Amazon Glacier、Kinesis、Amazon EMR、Amazon RDS、Amazon CloudWatch、Amazon Redshift、AWS Lambda等。图1是芝麻科技使用AWS云服务的架构示意图。
图1:芝麻科技使用AWS云服务的架构示意图
将整个应用系统完整地迁移到AWS上使芝麻科技在多方面获益。
首先是大幅度降低了计算资源使用成本和运维成本。芝麻科技将AWS特有的按需、预留和竞价实例与自身的业务特性相结合,通过组合不同种类的实例,获得了超高的性价比,仅在后端用Amazon EMR进行大数据处理方面,由于采用了竞价实例和弹性伸缩技术,在充分满足业务对计算性能要求的前提下,将计算成本减少到之前自建Hadoop集群时的一半。同时,利用AWS Auto Scaling、ELB等服务,应用系统仅在需要时增添实例,一旦完成处理,即可立刻释放实例,这使得总的计算资源使用成本降低了1/3。在运维方面,通过使用AWS上的PaaS层服务,减少了运维人员的投入,运维人员从原来的5人缩减为2人,节省了60%的人力成本。
其次是缩短了系统开发、测试及部署时间,项目的迭代周期从原来的4个月缩短到2个月。系统的性能也得到大幅度提升,MOLLI系统大量采用了AWS的托管服务,组件的高可用性由AWS保证,减少了自行设计带来的复杂度,数据存储的持久性、系统的弹性及安全性都得到充分的保证。“更重要的是使用AWS提升了系统的稳定性和动态扩容能力,使我们能够轻松应对业务的爆发式增长。”冯华寅说。
好文章,需要你的鼓励
后来广为人知的“云上奥运”这一说法,正是从这一刻起走上历史舞台。云计算这一概念,也随之被越来越多的人所熟知。乘云科技CEO郝凯对此深有感受,因为在2017年春节过后不久,他的公司开始成为阿里云的合作伙伴,加入了滚滚而来的云计算大潮中。同一年,郝凯带领团队也第一次参加了阿里云的“双11”活动,实现了800万元的销售业绩。
随着各行各业数字化变革的不断深入,人类社会正加速迈向智能化。作为智能世界和数字经济的坚实底座,数据中心也迎来了蓬勃发展。面