科技行者

行者学院 转型私董会 科技行者专题报道 网红大战科技行者

知识库

知识库 安全导航

至顶网CIO与应用频道CIO加油站通信行业用统一大数据平台破解“多租户”

通信行业用统一大数据平台破解“多租户”

  • 扫一扫
    分享文章到微信

  • 扫一扫
    关注官方公众号
    至顶头条

源于互联网的大数据技术,现如今已经深入到传统行业之中。各行各业大都在积极使用大数据推动数字化转型,基于每个行业的特点和信息化水平的不同,在大数据的应用上也各不相同,其中金融、电信、政府、交通行业领跑大数据应用。

作者:王聪彬 来源:ZD至顶网CIO与应用频道 【原创】 2016年8月10日

关键字:Power Linux 通信 大数据

ZD至顶网CIO与应用频道 08月10日 评论分析(文/王聪彬):源于互联网的大数据技术,现如今已经深入到传统行业之中。各行各业大都在积极使用大数据推动数字化转型,基于每个行业的特点和信息化水平的不同,在大数据的应用上也各不相同,其中金融、电信、政府、交通行业领跑大数据应用。

某电信运营商的大数据应用在运营商中属于第一梯队,早在3、4年前就开始了大数据平台的建设。但随着业务带动数据量的增长,也产生了多租户的问题,所以在大数据平台二期建设上,其考虑通过统一架构来解决多租户问题。

运营商的多租户挑战

在大数据应用上可以分为三个阶段,第一,实验期,非核心业务的应用;第二,广泛使用期,针对一些大数据技术选择使用的场景;第三,引领发展期,实现创新应用。

电信行业算是最早使用大数据开展业务的行业之一,在大数据的应用上已经经历了第一阶段大多处在第二阶段,而且运营商目前也正进入新的转型期,大数据也将成为创新的驱动力。

而在大数据广泛使用期的运营商有两大驱动力需求:业务和技术。业务驱动力表现为实现端到端的业务模型,从用户画像提炼出目标客户产生价值等;技术驱动力表现为技术平台的建设满足不同的需求。在大数据应用第二阶段的后期,两种驱动力也会交织在一起,运营商甚至建立专门的大数据部门,来统筹和实现需求。

运营商在各省市都有不同的分支机构,某电信运营商作为第一批建设大数据的运营商,在3、4年前就开始大数据平台的建设,2年内获得了超过3000万的业务收益。但随着海量数据和数据应用种类的不断增长,大数据系统超负荷运行,对业务的稳定性和安全造成了潜在风险。

这也是运营商在大数据应用第二阶段最突出的问题“多租户”,多租户是一个比较广的概念,其中涵盖了资源共享、资源调度、可视化管理,多租户也基本代表了规模以上企业在技术驱动的大部分范畴。

多租户来自于使用和维护部门的直接需求,之前运营商在IT系统的建设上都是一个应用一套平台,这也造成了系统和系统之间的隔阂,产生大量的孤岛。在经过不断的架构优化后,逐渐形成了在统一的平台建立大数据应用,这就需要实现硬件甚至数据的共享。在应用都在分享资源时,如何调派这些资源,就产生了多租户的需求。

构建统一架构大数据平台

某电信运营商需要满足分批量数据处理的同时,引入实时分析应用,提高数据的高效利用率,挖掘潜在数据价值。

在Hadoop的初期并不具备实现条件,经过发展目前Hadoop已经可以很好的满足多租户需求,但中间需要大量定制化开发。而且单一系统也不能完成大数据的所有需求,这也使得需要一个全面的解决方案。

某电信运营商在大数据平台上更加关注实施风险和性价比,以Platform和GPFS为基础结合开源Hadoop2.0+Spark整体解决方案实现完全兼容满足多租户需求,即使在租户数量增多的情况下,也能保证企业租户享有安全稳定高效的应用性能。

最终选用Linux on Power主要是考虑硬件本身的性能、可靠性、安全性,之后再对比软件的性价比。相比X86服务器,Linux on Power在其中起到了软硬互相优化的作用,Power对于商业软件还是开源软件都有很好的兼容性,而且还可以针对性的进行调优。而且在同一平台上实现支持不同开源Hadoop版本,解决了集成问题,避免了推倒重来和数据迁移。

目前某电信运营商的大数据平台已经进入第二期建设,每天数据量峰值已经超过50TB,平台上的数据提供给业务部门、维护部门、创新中心三大部门使用。

大数据平台在支持运营之外,提供了共享的框架,节省了资源提高利用率,该省公司也因此成为中国移动在大数据应用上的标杆工程。而且通过隔离功能可以让不同应用运行在平台的同时,还可以实现数据的共享,提高性能的同时降低开发成本。

在未来大数据平台的规划上将更加突出业务特性,甚至有可能将其他省公司也接入到该省公司的大数据平台,在技术层面越来越基于云进行分析,提升整个平台的性能并进一步降低运维成本。

  • 科技行者:每条内容都是头条的新闻客户端 扫码立即下载

邮件订阅

如果您非常迫切的想了解IT领域最新产品与技术信息,那么订阅至顶网技术邮件将是您的最佳途径之一。

重磅专题