天翼云3.0竞品评测与咨询：云服务总体性能评测 原创

至顶网CIO与应用频道 10月16日 评论分析：

一、摘要与主要结论

随着全球数字化转型的不断加速，全球云计算市场总体稳步增长，2015年以IaaS、PaaS和SaaS为代表的典型云服务市场规模达到522.4亿美元，增速20.6%，预计2020年将达到1435.3亿美元，年复合增长率达22%。国内云计算整体市场在政策、产业、资本的互相驱动中，也得到快速发展和进步，2015年，我国公有云市场规模达到102.5亿元，预计到2020年，我国公有云服务市场规模将达到570.3亿元。尤其2016年以来，银行、保险、制造业、政企等传统领域业务逐渐迁移上云，用户也越来越关心不同云服务商不同云计算产品的质量与性能，以选择匹配自身的业务特征和资源需求的云服务。

中国电信云计算研究中心“云眼”研发团队依托设在北京研究院的集团级云计算重点实验室，在前几期国内主流公有云服务性能评测的工作基础上，以面向公众用户的公有云产品为对象开展了本次工作。本次评测从互联网厂商云、技术导向型创业云、和电信运营商云三大阵营中各选取一家具有代表性的云服务提供商(阿里云、UCloud、中国联通沃云)，并针对中国电信天翼云3.0竞品对比的具体业务需求进行。其中，电信运营商阵营选择联通沃云，考虑到其与天翼云同期进入公有云市场，且较移动云有更多的行业应用。本工作开展时间为2016年9月20日至9月30日，开展地点为中国电信北京研究院，所选择的产品资源池分布为：阿里云的华北2可用区B，UCloud的北京二可用区B，中国联通沃云的廊坊基地A，中国电信天翼云3.0的贵州资源池。与“云眼”以往工作及和行业相似工作对比，本次评估有两个突出特点：第一，为了展现云基础设施对上层不同云业务的支持，引入了基于典型业务负载的场景评测。包括：网站承载场景，视频流媒体场景，大数据分析场景，图分析场景，电子商务场景。第二，针对外部重点竞争对手阿里云、UCloud、联通沃云，面向中国电信天翼云3.0，覆盖了业内最全系列的云主机产品规格。包括：基准规格（1U1G）、标准规格（4U8G）、中档规格（8U32G）、高档规格（16U32G），豪华规格（16U64G）。本期主要结论如下：

（1）综合来看，UCloud和天翼云3.0属于第一阵营，阿里云表现一般，沃云综合能力最弱。

（2）对于基于典型业务负载的分场景评估，天翼云3.0和UCloud业务承载综合能力最优，同时两者具有明显的差异化，其中天翼云3.0承载电子商务业务、视频流媒体业务性能较好，UCloud则承载图分析业务、大数据分析业务性能较好。阿里云虽然业内口碑和生态良好，但业务场景的承载性能表现一般，联通沃云最弱。

（3）对于基于行业基准的单项性能评估，UCloud除了数据库综合性能稍逊于天翼云3.0外，在计算、存储、网络和操作系统方面的综合性能基本都是最优的。天翼云3.0除存储性能外，综合性能紧随其后，其中经确认天翼云为避免IO争抢而对存储性能进行了限制。阿里云、联通沃云分别次之。

（4）云眼基于Z标准化的加权业务承载性能模型以及单项综合性能模型分别参见如下两图示：

 

图1云眼基于Z标准化的加权业务承载性能模型

图2云眼基于Z标准化的单项综合性能模型

二、竞争态势与定性分析

（一） 市场动态：云计算与大数据技术结合是目前云业务的趋势

互联网投研平台爱分析公布企业级服务50强榜单，云服务成为企业服务50强的最大组成部分，合计估值1，181.5亿元，占上榜企业总估值的59.7%，UCloud、阿里云、腾讯云成为此企业级云服务商“三强”。

听云发布《2016第一期云评测报告》从技术性能、服务易用性上等对12家云计算企业综合衡量，前三甲依然被阿里云，腾讯云，UCloud“包揽”。

（1）阿里云 2016年8月举办的云栖大会上宣布推出人工智能ET，ET基于阿里云强大的计算能力，目前已具备智能语音交互、图像/视频识别、交通预测、情感分析等技能。现场，ET展示了自己模仿马云说话的新技能。据了解，ET背后采用的是大数据AI技术。

（2）青海联通联合华为技术有限公司、中兴通讯股份有限公司、武汉烽火通信科技股份有限公司等16家国内知名企业构建了青海省沃云数据生态链联盟，共同助力青海省大数据信息产业的建设发展。

（3）UCloud 8月22日，UCloud通过信息安全管理体系ISO 27001和云安全国际金牌认证CSA STAR，成为继阿里云后，国内公有云领域第二家获得此项国际权威认证的企业。

（二）云行业市场产品分析

1.阿里云：电商云和金融云两个重点产品

（1）电商云以天猫平台为实践基础，提供云主机之上的大数据运营，视频直播，以图搜图，客服机器人等多种服务 ，重点客户：亲宝宝，卡当，大麦。

（2）金融云：提供金融公共云，和金融专有云两种模式服务，提供金融云PAAS，大数据平台等服务重点客户：网商银行、天弘基金、红岭创投、众安保险

2.UCloud：金融云和电商云两个重点产品

（1）金融云：传统银行，保险行业，证券期货，互联网金融，打造混合云服务架构，支持多地灾备，符合银行合规，重点客户是快钱，东方财富网，搜易贷，浙江农信

（2）电商云：中小型电商，跨境电商，社交电商，大型电商客户，针对不同客户提供混合云，海外通道，直播等服务，重点客户是贝贝网，有赞，什么值得买

3.沃云：政务云、医疗云和制造云

（1）政务云：协助政府构建统一的IT支撑环境，为政府机构提供基础云服务以及网络办公的软硬件条件 ，客户有河南信访局，内蒙发改委

（2）医疗云：基于沃云基础服务，建立由医疗云、食品药物云＋云医院、医疗云影像＋药品云构成的，客户是广东食药局

（3）制造云：为制造业提供高效的云运作平台，增强产业内部协调能力，为行业创新、内外部交流、信息公开与跨行业合作提供基础支撑 ，客户有爱立信 ，volvo

4.天翼云门户网站

天翼云目前按照政务云、医疗云、教育云等重点行业提供按行业的解决方案 ，重点客户有国际统计局，人民检察院，厦门卫生局，百度，搜狐 。建议门户网站增加行业定制解决方案。

（三） 基于云平台的大数据的产品

1.阿里云：行业解决方案中提供大数据产品，门户网站提供单一大数据产品销售

（1）分析型公众趋势上新：

（2）全网情报快速感知

（3）千万站源、日增20亿网页，最快2分钟获取数据

（4）热点主题多维分析

（5）源站、专题、关键词、标签自由组合、多维分析

（6）媒体传播深度解析

（7）传播层级、情感趋势、用户画像、水军分析，深剖资讯热点

2.UCloud:Hadoop基础能力提供

（1）ATA数字营销&大数据解决方案

（2）高性能物理云主机方案，提升实时竞价速度并降低TCO

（3）分布式缓存服务，保障竞价数据大容量低延时交换

（4）大数据服务，提供灵活扩展Hadoop集群计算能力

3.沃云：整体打包沃云和大数据服务能力

（1）智慧保定：运营在联通沃云之上，包括政务云平台、数据交换共享中心、网上政务审批大厅、综合服务门户、智慧城市演示

（2）青海联通在中国联通集团公司数据共享的基础上，推出风控产品、APP指数、终端指数、旅游指数、用户画像等多项应用产品，拥有成熟的电子政务云、智慧旅游云、智慧交通云、智慧医疗云等领域大数据应用综合解决方案

4.天翼云 ：目前提供较全的大数据产品

（1）信贷评估

用户信用分值评估、号码状态核查和用户身份验证

（2）精准营销

精准用户画像、网络行为分析、竞品分析及标签服务

（3）咨询分析

提供基于电信及互联网数据的各行业多类别的评估报告及专业咨询服务

（4）PaaS

提供大数据应用所需的计算、存储资源和数据汇集、处理、展现等服务

三、云眼评测场景及指标

（一）典型业务场景

1.网站承载场景

网站(Web)是互联网时代云服务商所承载的最基本业务形态，在云服务商提供的云服务中占有很大比重。网站承载场景模拟了用户登录社交网络并执行一系列操作的过程。这些操作主要包括：首页浏览操作，登录操作，个性化设置操作，发送聊天信息操作，添加好友操作，注册操作，退出操作，更新动态操作，接收聊天信息操作。主要过程是Faban负载产生器，根据预配置的网页迁移矩阵，向Web服务器发送请求。Web服务器使用Nginx,并支持目前流行的社交网络开源引擎Elgg。服务器向缓存服务器Memcached发送查询请求，Memcached 是一个高性能的分布式内存对象缓存系统，用于动态Web应用以减轻数据库负载。如果未命中，再向MySQL数据库中查询相应的数据。

2.视频流媒体场景

流媒体服务的普及使其预计占据互联网流量的主导地位。该场景用Nginx作为流媒体服务器来获取视频。客户端基于Httpperf流量生成器，请求不同长度和质量的视频。其中视频的质量分为4种：240p, 360p, 480p, 720p。在该场景中，以响应时间作为性能衡量指标，即响应的时间越短，视频流媒体场景的性能越好。

3.大数据场景

对于人类产生的大量数据，对其分析可以提取出很多有用的信息，比如说对用户进行个性化图书推荐。大数据分析场景是基于Hadoop，利用Mahout机器学习库提供的经典机器学习算法分析大规模数据集，该数据集是维基百科英文页面文章，利用机器学习算法将这些文章分类，最终分为：艺术，文化，经济，教育等25个类别。根据不同的云服务商将同等规模的数据集分类完成所用时间的不同，衡量其大数据场景的性能。处理时间越短，其性能越好。

4.图分析场景

图分析是一种基于图的数据挖掘业务，涉及并行的分布式图形处理。该场景依赖于Spark框架，执行大数据集的分析，该数据集是Twitter用户网络图。通过在Spark上运行GraphX执行分布式图处理运算。执行PageRank算法分析出用户网络图中每个用户的重要性（影响力）。该场景的性能是通过完成时间体现，即处理用时越短，该场景的性能越好。

5.电子商务场景

通过多台客户机向服务器发出Http请求，请求调用Web服务器上的网页文件，这些文件从数千字节到数兆字节不等。在相同的时间里，服务器回答的请求越多，就表明服务器对客户端的处理能力越强，系统的Web性能就越好。最大并发用户数值根据结果进行调整，为了确保稳定性，针对不同的并发用户数值，都进行三轮测试，只有当三轮测试的TIME_GOOD >=95%,TIME_TOLERABLE>=99%时，此时的并发用户数值是我们所需要的压力值。

（二）行业基准性能

1.计算性能

云眼监测系统进行计算性能评估的第一个基准是来自EEMBC的CoreMark，它通过分析处理器的管线架构对其效率进行评分，并通过执行三个主要任务来测试常用运算的执行效率。目前CoreMark已成为量测与比较处理器性能的业界标准基准测试，CoreMark数字越高，意味着更高的性能。

有些业务场景需要进行复杂的运算，比如推荐算法中通常含有大量的矩阵计算，模拟证券交易或者交通状况则可能会用到蒙特卡罗模拟。云眼监测系统模拟实现了五类主流的复杂运算A: 快速傅里叶变换FFT；B:松弛迭代法计算线性方程组的解SOR；C:蒙特卡罗模拟MC；D:稀疏矩阵相乘Sparse；E:矩阵分解LU。并将上述复杂运算实现成为如下四种场景进行评估：场景1: Java语言版小型运算；场景2: C语言版小型运算；场景3: Java语言版大型运算；场景4: C语言版大型运算。

并不是CPU核越多越好，内存带宽对提升系统性能越发重要，尤其对于访存密集型业务。因为如果不能足够迅速地将内存中的数据传输到处理器中，若干处理核心就会处于等待数据的闲置状态，而这其中所产生的闲置时间不仅会降低系统的效率，还会抵消多核心和高主频所带来的性能提升因素。云眼监测系统基于专业内存测试基准HPCC进行评估。

2.网络性能

云眼监测系统对于网络性能的评估首先涵盖了IP层的网络延迟和传输层的网络带宽。在此基础上，从业务层的视角，把业务使用网络区分为三种模式进行评估：(1) RR模式：多次Request/Response，比如数据库connection上的多次交易transaction；(2) CRR模式：多次Connect/Request/Response，比如来自不同client的HTTP请求；(3) STREAM模式：批量数据传输，比如FTP文件下载等。

3.存储性能

频繁的IO模块很有可能成为整个业务的性能瓶颈，因此存储IO性能对云上业务至关重要。对于存储IO的性能评测，云眼监测系统区分了读和写两种基本操作，随机和顺序两种访问模式，以及带宽、延迟、IOPS吞吐三种常见指标进行评估。

4.操作系统性能

如何评价用户使用操作系统的性能呢？云眼监测系统模拟了操作系统上常见的六类操作进行评估：A：字符串处理速度；B：系统调用速度；C：文件拷贝速度；D：管道通信速度；E：进程创建速度；F：脚本执行速度。

5.数据库性能

关系型数据库广泛应用于银行交易、网站购物、余票查询等业务中，例如MySQL/Oracle/PostgreSQL等，而数据库的事务吞吐率是衡量数据库性能的主要指标(单位：transactions per second)。

四、云眼评测数据分析

云眼本次评估的全系列产品具体规格和配置如表1所示，产品资源池分布如表2示。

表1 云产品全系列规格配置表

表2 产品资源池分布表

图3显示了被测云服务商在网站承载场景下的性能数据，单位是Operations Per Second，即在相同的负载下，每秒执行的网页操作数越多，则代表网站承载场景的性能越好。据图可以看出，对于各规格产品的网页承载业务，天翼云3.0和UCloud性能最佳。但是在基准规格，阿里云和UCloud表现最好。综合来看，天翼云3.0和UCloud，在负载相同的情况下每秒能够处理的网页操作数量最多，阿里云和沃云较弱。

图3 每秒处理的网页操作数量

（二）视频流媒体场景

图4显示了被测云服务商在视频流媒体场景下的性能数据，单位是Seconds。据图可以看出，对于基准规格(1U1G)产品的视频流媒体承载业务，阿里云性能最好；对于其他规格产品的视频流媒体承载业务，阿里云、天翼云3.0和UCloud属第一阵营。同时沃云与阿里云、天翼云3.0和UCloud相比，在多种规格的云主机上，有1秒左右的差距，在基准规格(1U1G)的云主机上差距达到2秒。

图4 视频平均播放延迟

（三）大数据场景

图5显示了被测云服务商在大数据分析场景下的性能数据，单位是Minutes。据图可以看出，对于各规格产品的大数据分析业务，除阿里云处理时间较长外，其他各家性能相当。其中，天翼云3.0在基准规格（1U1G）表现不佳，但是在其它规格产品上处理用时靠前。UCloud在该场景中表现最好，其在各个规格上处理用时均最短。

图5 机器学习算法的运行完成时间

（四）图分析场景

图6显示了被测云服务商在图分析场景下的性能数据，单位是ms。据图可以看出，在基准配置（1U1G），阿里云和UCloud表现较好；在较高配置的云主机，特别是8U32G及以上，天翼云3.0表现最佳，沃云和UCloud较之稍弱，阿里云在该场景表现最差。同时可以看出，不同的云服务商，其基准配置和其它配置的云主机在该场景上处理用时差异较大。但是常规配置及以上，处理用时差异较小。

图6 图分析算法的运行完成时间

（五）电子商务场景

对于电子商务业务，天翼云3.0支持最大数量的并发用户数，沃云在该场景下业务吞吐最差，仅为天翼云的一半。

图7 业务支持的最大并发用户数

（六）计算性能

1.处理器核心性能

下图8显示了被测云服务商随机分配基准云主机的CoreMark分数，阿里云同规格所分配云主机得分偏低。我们也通过人工查看虚拟机CPU主频的方式验证了此数据。

图8处理器核心性能Coremark得分

2.复杂运算性能

图9显示了被测云服务商在前述四种场景下的复杂运算性能，单位是mflops (Million Floating-point Operations per Second),联通沃云和天翼云3.0略胜一筹。为了展示某一种特定复杂运算的性能，图10展开了场景4: C语言版大型运算的具体数据。由于不同运算的性质有差异，可能存在不同运算结果有翻转的现象。比如天翼云3.0的松弛迭代法计算线性方程组的解SOR运算速度不如沃云，但是稀疏矩阵相乘Sparse却反超。

图9分场景复杂运算性能

图10场景4主流复杂运算性能

图11-18展示的其它四种规格的复杂运算的性能和其场景四展开情况，规格为4u8g的虚机的复杂计算性能，天翼云3.0和阿里云略胜一筹，UCloud表现最弱；规格为8u32g的虚机的复杂计算性能，天翼云3.0和沃云表现靠前；规格为16u32g虚机的复杂计算性能，天翼云3.0和沃云略胜一筹；规格为16u64g的虚机复杂计算性能，天翼云3.0和沃云表现较好。

图11分场景复杂运算性能                        图12场景4主流复杂运算性能

图13分场景复杂运算性能                           图14场景4主流复杂运算性能

图15分场景复杂运算性能                        图16场景4主流复杂运算性能

图17分场景复杂运算性能                          图18场景4主流复杂运算性能

3.内存带宽性能

图19显示了被测云服务商同配置基准云主机的内存带宽性能(4u8g)，单位是GB/s。其中，阿里云访存性能略高2~3GB/s。

图19内存带宽性能

图20~22显示的是被测云服务商在其他规格(如8u32g、16u32g、16u64g)同配置基准云主机的内存带宽性能。UCloud的访存性能略低3~4GB/s(规格8u32g),UCloud的访存性能略高3~4GB/s(规格16u32g)，沃云的访存性能略高3~4GB/s(规格16u64g)

图20内存带宽性能

图21内存带宽性能

图22内存带宽性能

（七）网络性能

1.网络延迟

网络延迟是网络性能首先需要关注的指标，网络延迟通常使用Ping工具进行测量。网络延迟分为外部延迟和内部延迟，由于外部延迟会受测量点地域、带宽、接入网环境等诸多因素影响，这里以被测云服务商的内部网络延迟为主要考察对象。云眼监测系统在被测云服务商相同地域、相同可用域以及相同VPC中随机供应两台业务虚拟机，发起100次互Ping并统计最小延迟(Min)、最大延迟(Max)、平均延迟(Average)和延迟标准方差(Std Dev)，单位是ms。如图23所示，其中青云的内部网络延迟较平均水平低一个数量级； UCloud不但延迟低，而且波动小；联通沃云内网延迟最高，且波动最大。

图23网络延迟

2.网络带宽

如果说网络延迟是IP层需要关注的指标，那么网络带宽则是传输层需要关注的指标。在与前述网络延迟评测相同的环境下，云眼监测系统测量了内网的TCP最大带宽，单位是Mbit/s。被测云服务商天翼云3.0和阿里云提供千兆的内部网络带宽，而沃云和UCloud拥有万兆的内部带宽。另外经确认，天翼云进行了内网限速。

图24网络带宽

3.网络吞吐率

图25给出了被测云服务商在前述RR、CRR、STREAM三种不同业务使用模式下的网络吞吐率，其中RR模式和CRR模式下的单位是transactions/sec，STREAM模式下单位: Mbits/sec。由此可见，网络带宽大并不一定业务吞吐高，对于数据库和Web访问业务，天翼云3.0和UCloud吞吐性能最好，沃云吞吐性能最差。

图25网络吞吐

（八）存储性能

目前主流的云服务商都提供普通云硬盘和SSD高速云硬盘两种服务，我们以普通云硬盘为主要对象。在本报告被测的主流云服务商中，UCloud、天翼云3.0和联通沃云使用了普通云硬盘，阿里云则使用高效云硬盘。存储性能首先划分为读和写两种基本操作，随机和序列两种访问模式，以及带宽、延迟、IOPS吞吐三种常见指标进行了排列组合和编号，如表3所示。其中，带宽单位:KB/s，延迟单位: usec，IOPS单位：Operations Per Second。

表3 存储指标排列组合表

存储IO吞吐(以4u8g为例)如图26示，对于普通云硬盘，UCloud IOPS吞吐显著，尤其对随机访问进行了优化，阿里云次之。另外经确认，天翼云为了避免IO争抢，对存储性能进行了限制。

图26普通云硬盘IOPS

存储IO带宽如图27~28示，考虑到量纲不同，将A序列写带宽、D序列读带宽与G随机写带宽、J随机读带宽区分。可见IO带宽越大越好，沃云顺序访问带宽较高，UCloud随机访问带宽最高。

图27~28普通云硬盘存储带宽

同样，存储IO延迟如图29~30示，可见沃云顺序访问延迟较低，UCloud随机访问延迟较低。

图29~30普通云硬盘存储延迟

图31-50显示的是其他几种规格(如1u1g、8u32g、16u32g、16u64g) 带宽、延迟、IOPS吞吐三种常见展示情况。图31所示：规格为1u1g的UCloud IOPS吞吐显著，尤其对随机访问进行了优化，沃云吞吐次之，UCloud顺序访问延迟最低，天翼云3.0随机访问延迟较低,；图36所示：规格为8u32g的UCloud IOPS吞吐显著，阿里云、沃云和天翼云吞吐一般，UCloud随机访问延迟最低，沃云次之,天翼云3.0顺序访问延迟较高；图41所示：规格为16u32g的UCloud IOPS吞吐显著，沃云次之，UCloud随机访问带宽较高，阿里次之；图46所示：规格为16u64g的UCloud IOPS吞吐显著，沃云次之，UCloud随机访问延迟最小，沃云顺序访问延迟较低。

图31普通云硬盘IOPS

图32~33普通云硬盘存储带宽

图34~35普通云硬盘存储延迟

 

图36普通云硬盘IOPS

图37~38普通云硬盘存储带宽图36普通云硬盘IOPS

 

图39~40普通云硬盘存储延迟

图41普通云硬盘IOPS

 

图42~43普通云硬盘存储带宽

图44~45普通云硬盘存储延迟

图46普通云硬盘IOPS

图47~48普通云硬盘存储带宽

图49~50普通云硬盘存储延迟

（九）操作系统性能

云眼监测系统基于Centos 7.1(64位)，模拟了前述6类常见的系统操作。图51是被测云服务商操作系统性能的综合得分，沃云性能偏弱。六种常见操作的拆分数据(以16u32g为例) ，综合性能高的，不一定所有的所有的系统操作都是最快的，比如详见图52~53，UCloud综合分数最高，但是天翼云3.0的脚本执行速度反而是最快的。

图51 操作系统综合得分

图52~53 六种常见系统操作执行速度

（十）数据库性能

1.关系型数据库性能

云眼监测系统以流行关系型数据库MySQL为对象，对被测云服务商云主机上运行关系型数据库的性能进行了评测。MySQL数据库的吞吐率相差不大，天翼云3.0最快，沃云最慢。

图54 关系型数据库性能

云眼系列其他子产品介绍

http://cloudinsight.ctbri.com.cn/cloud/