科技行者

行者学院 转型私董会 科技行者专题报道 网红大战科技行者

知识库

知识库 安全导航

至顶网CIO与应用频道腾讯打破2016SortBenchmark4项纪录 98.8秒完成100TB数据排序

腾讯打破2016SortBenchmark4项纪录 98.8秒完成100TB数据排序

  • 扫一扫
    分享文章到微信

  • 扫一扫
    关注官方公众号
    至顶头条

11月10日,具有计算奥运会之称的SortBenchmark全球排序竞赛公布2016年最终成绩,腾讯云大数据联合团队用时不到99秒(98.8秒)就完成100TB的数据排序,打破阿里云去年创造的329秒的纪录。

来源:ZD至顶网CIO与应用频道2016-11-10 16:28:07

关键字: 大数据 腾讯云

  • 评论
  • 分享微博
  • 分享邮件

ZD至顶网CIO与应用频道 11月10日 北京消息:11月10日,具有计算奥运会之称的SortBenchmark全球排序竞赛公布2016年最终成绩,腾讯云大数据联合团队用时到99秒(98.8秒)就完成100TB的数据排序,打破阿里云去年创造的329秒的纪。在更早前百度创造的纪录是716秒,Hadoop的纪4222秒。

在这次竞赛中,腾讯云数智分布式计算平台夺得SortBenchmark大赛GraySort和MinuteSort冠军,总共创造四项世界纪录将去年阿里云整体提高2倍到5倍。腾讯名列全球大数据第一梯队领军企业,这也是全球大数据性能进化史的重要里程碑
 
每年全球顶尖公司和学术机构会来参加该赛事评估软硬件系统架构能力及最新研究成果这项赛事包括四项比赛,腾讯云大数据联合团队参加的是含金量的GraySort和MinuteSort两项排序竞赛重点评测大规模分布式系统的软硬件架构能力及平台的计算效率,以上两项比赛均包括Indy(专用目的排序)和Daytona通用目的排序)两个子项。数智一举夺得上述四个子项冠军,总体将去年的纪录提高2倍到5倍。

腾讯打破2016SortBenchmark4项纪录 98.8秒完成100TB数据排序

腾讯打破2016SortBenchmark4项纪录 98.8秒完成100TB数据排序

GraySort竞赛比拼的是如何在最短的时间内,将总共100TB,一共1万亿无序100字节纪,按照从小到大的顺序进行排序。数用时98.8秒完成100TB的数据排序即每分钟完成60.7TB的数据排序去年冠军的纪录18.2TB/分钟。MinuteSort竞赛,比拼的是1分钟之内能够完成多少数据量排序。数智成绩为1分钟完成55TB排序,去年冠军11TB,数一数据量提升5倍

Sort Benchmark通过排序竞赛考量一家公司或机构大规模计算能力的综合实力,通过排序这个最基本的计算问题,不仅全面评测分布式系统软件架构能力(如海量数据分布式存储、计算任务切片调度、节点通信协调同步、数据计算监控容灾等性能),也评测了硬件架构能力(如服务器硬件选配、网络架构调优、IDC规划建设能力等)。在这次排序竞赛中,腾讯云大数据联合团队在基础架构上采用了512台IBM的OpenPOWER服务器和迈络思公司的100Gb互联技术,这也让腾讯云大数据产品的性能取得进一步提升。

腾讯云副总裁、腾讯数据平台部总经理蒋杰表示全球企业正在进入企业数据和社会数据的全融合时代从浩瀚的大数据寻找新业务航向甚至建立全新的商业模式,正在成为这个时代企业的生存和发展命题,腾讯云全面开放腾讯18海量大数据处理经验,为企业在最短的时间内,用最少的资源提供精准的计算,建立核心商业竞争优势。
此次腾讯云大数据联合团队由腾讯存储产品中心、腾讯数据平台部组成这个团队大数据技术和应用管理上有非常丰富的实践经验,尤其是腾讯数据平台部一直管理的腾讯大数据集群是世界上最大的大数据集群之一。此前这个团队一直苦练内功,多年技术积累让他们全球计算奥运会上取得非常瞩目的成绩。

在对微信每天160亿级别的多维分析场景中,数智能够做到6秒返回结果;数智是腾讯云在互联网海量数据处理经验之上,结合开源Hadoop生态和自研组件服务,对外提供的一站式数据分析与挖掘平台,已在政府、传统企业和互联网企业中被深度应用

业内人士评价,今年评测的结果显示,腾讯在大数据的技术积累超出了想象,未来腾讯持续向中国企业输出大数据云计算能力将会让中国更范围的参与全球的商业竞争,提升中国经济在全球经济的市场占有率

SortBenchmark排序竞赛官网公布的结果:http://sortbenchmark.org/

    • 评论
    • 分享微博
    • 分享邮件
    邮件订阅

    如果您非常迫切的想了解IT领域最新产品与技术信息,那么订阅至顶网技术邮件将是您的最佳途径之一。

    重磅专题
    相关文章
    最新文章