至顶网CIO与应用频道 10月16日 北京消息:中国电信云计算研究中心秉承差异创新、开放共赢、扬长避短的理念,旗下“云眼”研发团队依托设在北京研究院的集团级云计算重点实验室,在前几期国内主流公有云服务性能评测的工作基础上,针对中国电信天翼云3.0竞品对比的具体业务需求,进行了第二次评估。本次评估有三个突出特点:第一,对天翼云转码进行了全方面的测评和对标分析。主要包括:功能性测试,性能测试,对标分析。第二,针对天翼云的RDS,与阿里进行了对标分析,对标规格包括:1U2G、2U4G、4U8G、8U32G、16U64G。第三,云主机的数据盘均使用SSD类型。本次测试了全规格的云主机,包括:1U1G、4U8G、8U32G、16U32G、16U64G。云服务厂商包括:天翼云,Ucloud和阿里云。阿里云资源池是华北二可以区B,天翼云是贵州资源池,Ucloud资源池是北京二可用区B。
本期主要结论如下:
(1)综合来看,天翼云转码在转码时间和转码的稳定性均表现优异,阿里云次之,七牛表现较差。
(2)RDS的性能,天翼云贵州在各个规格上,TPS和QPS与阿里RDS均有一定的差距。
(3)对于基于典型业务负载的分场景评估,天翼云3.0和UCloud业务承载综合能力最优。天翼云承载电子商务,大数据和视频流媒体场景表现优异,UCloud图分析和网站承载表现优异。阿里云虽然业内口碑和生态良好,但业务场景的承载性能表现一般。
(3)对于基于行业基准的单项性能评估,UCloud除了计算性能逊于天翼云3.0外,在数据库、存储、网络和操作系统方面的综合性能基本都是最优的。天翼云3.0计算性能表现优秀,综合性能紧随UCloud其后。其中,存储性能为避免IO争抢而进行了限制。阿里云次之。
(4)云眼基于Z标准化的加权业务承载性能模型以及单项综合性能模型分别参见如下两图示:
图1云眼基于Z标准化的加权业务承载性能模型
图2云眼基于Z标准化的单项综合性能模型
二、天翼云转码
根据“天翼云转码”的产品测试需求,从三个层次对云转码产品进行了测试,包括功能测试,性能测试和用户体验评估。其中,功能性测试分为:队列操作,任务操作,模板操作,文件格式四个方面;性能测试包括大文件转码;用户体验测试分为:界面易用性评估与对比,稳定性及异常处理评估。
创建队列,用于处理对应的任务
测试步骤:
a.编写测试脚本(附录:pipeline.py)调用API。
b.参数:
表1:创建队列参数
c.测试结果:调用接口成功,成功创建队列。
图3 队列详情
列出一个当前账号对应的队列的信息。
测试步骤:
page_token:在返回结果为多个页的时候使用。
图4 列出队列
发送GET请求来获取对应队列的信息。
测试步骤:
该队列的详细信息:
图5 读取队列
当更新队列的设置时,向对应带有pipelineId的URL发送一个PUT请求。
测试步骤:
更新的队列Id:fa3fb4a67493908798c0b232844fb10c
为了停止或者重新激活一个队列,以达到停止或者重新启动任务的效果,那么就要更新队列的状态。相对应Pipeline的URL发送一个POST消息。
测试步骤:
图6 更新队列状态
为了更新某个队列的云转码通知,向对应pipelineId的队列发送一个POST请求。
测试步骤:
为了删除一个队列,向对应pipelineId对应的URL发送一个DELETE请求。
测试步骤:
2.2.2任务操作测评
创建一个任务,向对应的URL发送一个POST请求。当创建任务时,任务会将启动。
测试步骤:
编写测试脚本(附录:job.py)调用API。
参数:
测试结果:调用接口成功,创建任务并按照指定的参数开始转码任务。
2.2.2.2根据队列列出任务测试结果:调用接口成功,创建任务并按照指定的参数开始转码任务。
为了得到向某个pipeline指定的任务,向对应的url资源地址发送一个GET请求。当根据队列列出任务时,云转码列出最近指定队列创建的任务。
测试步骤:
pipeline_id:fa3fb4a67493908798c0b232844fb10c
为了获取已经指定了状态的任务的列表,向对应的URL资源发送GET请求。云转码列出了最近和创建的并且具备指定状态的任务。
测试步骤:
为了得到一个任务的信息,相对应包含jobId的URL发送一个GET请求。
为了取消一项云转码还没有开始处理的任务,发送一个DELETE请求到包含jobId的URL。
测试步骤:
2.2.3模板操作测评
2.2.3.1创建模板
为了创建一个模板,向对应的URL发送一个POST请求。
测试步骤:
列出和当前账户相关联的所有的模板,并向对应的URL发送一个GET请求。
测试步骤:
为了得到模板的详细信息,向对应的带有presetId的URL发送一个GET请求。
测试步骤:
Id: 441849aed187e7e3a76c108238705bad
为了删除一个模板,发送DELETE请求到包含对应presetId的URL。
测试步骤:
2.2.4所支持文件格式评测
(1)avi/mpg
a. 输入格式avi(文件名称test01.avi)
b. 输出格式mpg(文件名称test01.mpg),
文件位置:mediatest/testtest/test01.mpg
转码详细信息:
(2)mp4/mpg
a. 输入格式mp4(文件名称test3.mp4)
b. 输出格式mpg(文件名称test3.mpg),
文件位置:mediatest/testtest/test3.mpg
转码详细信息:
a. 输入格式wmv(文件名称test05.wmv)(3)wmv/mpg
b. 输出格式mpg(文件名称test5.mpg),
文件位置:mediatest/testtest/test5.mpg
详细信息:
(4)rmvb/mpg
a. 输入格rmvb(文件名称test06.rmvb)
b. 输出格式mpg(文件名称test6.mpg),
文件位置:mediatest/testtest/test6.mpg
(5)ts/mp4
a. 输入格ts(文件名称50.ts)
b. 输出格式mp4(文件名称test37.mp4)
文件位置:mediatest/mytest/test37.mp4
表7 转码任务详细信息
2.3.1规格1
使用相同的1GB视频,对比天翼云转码,阿里云转码和七牛的转码时间。
视频大小:1G
视频格式:ts
目标格式:mp4
天翼云转码:
图7 天翼云、阿里云、七牛云转码时间
2.3.2规格2
视频大小:3.78G
视频格式:MP4
目标格式:mpg
转码详情:
c.填写完毕Bucket属性,新建管道和转码预设模板(根据转码需要)。然后进入产品与服务,选择“媒体转码”。
d.转码基础设定.
e.模板选择
f.提交转码作业,等待转码完成。
2.4.2阿里云转码使用评估
界面设计简单易用,用户看到表单后就基本清楚相关功能,表单自我解释完善,创建Bucket和新建转码任务与用户交互友好。对云转码的用户体验很好。
2.4.3七牛转码步骤
a. 在控制面板选择对象存储
e. 提交转码作业,等待转码作业完成。
2.4.4七牛云转码使用评估
相比于阿里云转码来说,七牛转码在界面设计上稍逊,没有明确的告知用户如何使用云转码服务,云转码的功能设计在数据处理中。用户的体验稍差。
天翼云转码:
模板参数:audio:Codec:AAC BitRate:320
video: Codec:H.264 BitRate:2500
Container:MP4
源文件:文件名:test_stable.ts 文件大小:128MB
阿里云:
模板参数:视频参数:编码格式:H.264 码率:2500
音频参数:编码格式:AAC 码率:320
输出格式:MP4
图9 阿里云转码重复性测试转码时间折线图
七牛:
模板参数:video-Web
规格参数:
avthumb/mp4/ab/160k/ar/44100/acodec/libfaac/r/30/vb/2200k/vcodec/libx264/s/1280x720/autoscale/1/stripmeta/0
图10七牛云转码重复性测试转码时间折线图
标准差:
天翼云转码:σ=6.274045
阿里云转码:σ=6.063552
七牛云转码:σ=63.84565
对标结果:
三、RDS
关系型数据库服务(Relational Database Service,简称RDS)是一种即开即用、稳定可靠、可弹性伸缩的在线数据库服务。具有多重安全防护措施和完善的性能监控体系,并提供专业的数据库备份、恢复及优化方案,使用户能够专注于应用开发和业务发展。
TPS:Transactions Per Second(每秒传输的事物处理个数),即服务器每秒处理的事务数。TPS包括一条消息入和一条消息出,加上一次用户数据库访问。
QPS:Queries Per Second意思是每秒查询率,每秒查询率QPS是对一个特定的查询服务器在规定时间内所处理流量多少的衡量标准。
从不同机型的TPS和QPS数据可以看出,阿里云在不同的规格均高于天翼云RDS。
图11tps值数
图12 QPS数值
四 云眼评测场景及指标
(一)典型业务场景
1.网站承载场景
网站(Web)是互联网时代云服务商所承载的最基本业务形态,在云服务商提供的云服务中占有很大比重。网站承载场景模拟了用户登录社交网络并执行一系列操作的过程。这些操作主要包括:首页浏览操作,登录操作,个性化设置操作,发送聊天信息操作,添加好友操作,注册操作,退出操作,更新动态操作,接收聊天信息操作。主要过程是Faban负载产生器,根据预配置的网页迁移矩阵,向Web服务器发送请求。Web服务器使用Nginx,并支持目前流行的社交网络开源引擎Elgg。服务器向缓存服务器Memcached发送查询请求,Memcached 是一个高性能的分布式内存对象缓存系统,用于动态Web应用以减轻数据库负载。如果未命中,再向MySQL数据库中查询相应的数据。
2.视频流媒体场景
流媒体服务的普及使其预计占据互联网流量的主导地位。该场景用Nginx作为流媒体服务器来获取视频。客户端基于Httpperf流量生成器,请求不同长度和质量的视频。其中视频的质量分为4种:240p, 360p, 480p, 720p。在该场景中,以响应时间作为性能衡量指标,即响应的时间越短,视频流媒体场景的性能越好。
3.大数据场景
对于人类产生的大量数据,对其分析可以提取出很多有用的信息,比如说对用户进行个性化图书推荐。大数据分析场景是基于Hadoop,利用Mahout机器学习库提供的经典机器学习算法分析大规模数据集,该数据集是维基百科英文页面文章,利用机器学习算法将这些文章分类,最终分为:艺术,文化,经济,教育等25个类别。根据不同的云服务商将同等规模的数据集分类完成所用时间的不同,衡量其大数据场景的性能。处理时间越短,其性能越好。
4.图分析场景
图分析是一种基于图的数据挖掘业务,涉及并行的分布式图形处理。该场景依赖于Spark框架,执行大数据集的分析,该数据集是Twitter用户网络图。通过在Spark上运行GraphX执行分布式图处理运算。执行PageRank算法分析出用户网络图中每个用户的重要性(影响力)。该场景的性能是通过完成时间体现,即处理用时越短,该场景的性能越好。
5.电子商务场景
通过多台客户机向服务器发出Http请求,请求调用Web服务器上的网页文件,这些文件从数千字节到数兆字节不等。在相同的时间里,服务器回答的请求越多,就表明服务器对客户端的处理能力越强,系统的Web性能就越好。最大并发用户数值根据结果进行调整,为了确保稳定性,针对不同的并发用户数值,都进行三轮测试,只有当三轮测试的TIME_GOOD >=95%,TIME_TOLERABLE>=99%时,此时的并发用户数值是我们所需要的压力值。
1.计算性能
云眼监测系统进行计算性能评估的第一个基准是来自EEMBC的CoreMark,它通过分析处理器的管线架构对其效率进行评分,并通过执行三个主要任务来测试常用运算的执行效率。目前CoreMark已成为量测与比较处理器性能的业界标准基准测试,CoreMark数字越高,意味着更高的性能。
有些业务场景需要进行复杂的运算,比如推荐算法中通常含有大量的矩阵计算,模拟证券交易或者交通状况则可能会用到蒙特卡罗模拟。云眼监测系统模拟实现了五类主流的复杂运算A: 快速傅里叶变换FFT;B:松弛迭代法计算线性方程组的解SOR;C:蒙特卡罗模拟MC;D:稀疏矩阵相乘Sparse;E:矩阵分解LU。并将上述复杂运算实现成为如下四种场景进行评估:场景1: Java语言版小型运算;场景2: C语言版小型运算;场景3: Java语言版大型运算;场景4: C语言版大型运算。
并不是CPU核越多越好,内存带宽对提升系统性能越发重要,尤其对于访存密集型业务。因为如果不能足够迅速地将内存中的数据传输到处理器中,若干处理核心就会处于等待数据的闲置状态,而这其中所产生的闲置时间不仅会降低系统的效率,还会抵消多核心和高主频所带来的性能提升因素。云眼监测系统基于专业内存测试基准HPCC进行评估。
2.网络性能
云眼监测系统对于网络性能的评估首先涵盖了IP层的网络延迟和传输层的网络带宽。在此基础上,从业务层的视角,把业务使用网络区分为三种模式进行评估:(1) RR模式:多次Request/Response,比如数据库connection上的多次交易transaction;(2) CRR模式:多次Connect/Request/Response,比如来自不同client的HTTP请求;(3) STREAM模式:批量数据传输,比如FTP文件下载等。
3.存储性能
频繁的IO模块很有可能成为整个业务的性能瓶颈,因此存储IO性能对云上业务至关重要。对于存储IO的性能评测,云眼监测系统区分了读和写两种基本操作,随机和顺序两种访问模式,以及带宽、延迟、IOPS吞吐三种常见指标进行评估。
4.操作系统性能
如何评价用户使用操作系统的性能呢?云眼监测系统模拟了操作系统上常见的六类操作进行评估:A:字符串处理速度;B:系统调用速度;C:文件拷贝速度;D:管道通信速度;E:进程创建速度;F:脚本执行速度。
5.数据库性能
关系型数据库广泛应用于银行交易、网站购物、余票查询等业务中,例如MySQL/Oracle/PostgreSQL等,而数据库的事务吞吐率是衡量数据库性能的主要指标(单位:transactions per second)。
五 云眼评测数据分析
云眼本次评估的全系列产品具体规格和配置如表12所示,不同规格配置的具体价格如表13示:
表13 云产品全系列规格价格表 单位(元/月)
图13显示了被测云服务商在网站承载场景下的性能数据,单位是Operations Per Second,即在相同的负载下,每秒执行的网页操作数越多,则代表网站承载场景的性能越好。据图可以看出,对于各规格产品的网页承载业务,天翼云3.0和UCloud性能最佳。在基准规格,阿里云和UCloud表现最好。综合来看,天翼云3.0和UCloud,在负载相同的情况下每秒能够处理的网页操作数量最多,阿里云较弱。
图13 每秒处理的网页操作数量
图14显示了被测云服务商在视频流媒体场景下的性能数据,单位是Seconds。据图可以看出,对于基准规格(1U1G)产品的视频流媒体承载业务,Ucloud性能最好;对于其他规格产品的视频流媒体承载业务,天翼云3.0和UCloud属第一阵营。阿里云稍逊,在1U1G和8U32G规格的云主机上,有1秒左右的差距。
图14 视频平均播放延迟
图15显示了被测云服务商在大数据分析场景下的性能数据,单位是Minutes。据图可以看出,对于各规格产品的大数据分析业务天翼云3.0表现优异,其中,阿里云在基准规格(1U1G)表现最好。UCloud在该场景中表现稍逊。
图15 机器学习算法的运行完成时间
图16显示了被测云服务商在图分析场景下的性能数据,单位是ms。据图可以看出,在基准配置(1U1G),UCloud表现较好;在较高配置的云主机,特别是8U32G及以上,天翼云3.0和UCloud表现最佳,阿里云在该场景表现最差。
图16 图分析算法的运行完成时间
对于电子商务业务,天翼云3.0支持最大数量的并发用户数,Ucloud稍逊,阿里云在该场景表现最差。
图17 业务支持的最大并发用户数
1.处理器核心性能
下图18显示了被测云服务商随机分配基准云主机的CoreMark分数,阿里云同规格所分配云主机得分偏低。我们也通过人工查看虚拟机CPU主频的方式验证了此数据。
图18处理器核心性能Coremark得分
2.复杂运算性能
图19显示了被测云服务商在前述四种场景下的复杂运算性能,单位是mflops (Million Floating-point Operations per Second),天翼云3.0略胜一筹。为了展示某一种特定复杂运算的性能,图20展开了场景4: C语言版大型运算的具体数据。由于不同运算的性质有差异,可能存在不同运算结果有翻转的现象。比如天翼云3.0的FFT的运算速度不如Ucloud,但是LU却反超。
图19分场景复杂运算性能
图20场景4主流复杂运算性能
图21~28展示的其它四种规格的复杂运算的性能和其场景四展开情况,规格为4u8g的虚机的复杂计算性能,天翼云3.0和阿里云略胜一筹,UCloud表现最弱;规格为8u32g的虚机的复杂计算性能,天翼云3.0和沃云表现靠前;规格为16u32g虚机的复杂计算性能,天翼云3.0略胜一筹;规格为16u64g的虚机复杂计算性能,天翼云3.0表现较好。
图21分场景复杂运算性能 图22场景4主流复杂运算性能
图23分场景复杂运算性能 图24场景4主流复杂运算性能
图25分场景复杂运算性能 图26场景4主流复杂运算性能
图27分场景复杂运算性能 图28场景4主流复杂运算性能
3.内存带宽性能
图29显示了被测云服务商同配置基准云主机的内存带宽性能(4u8g),单位是GB/s。
图29内存带宽性能
图30~32显示的是被测云服务商在其他规格(如8u32g、16u32g、16u64g)同配置基准云主机的内存带宽性能。UCloud的访存性能略高1GB/s(规格8u32g),天翼云3.0的访存性能略低2~3GB/s(规格16u32g),Ucloud的访存性能略高2~3GB/s(规格16u64g)
图30内存带宽性能
图31内存带宽性能
图32内存带宽性能
(七)网络性能
1.网络延迟
网络延迟是网络性能首先需要关注的指标,网络延迟通常使用Ping工具进行测量。网络延迟分为外部延迟和内部延迟,由于外部延迟会受测量点地域、带宽、接入网环境等诸多因素影响,这里以被测云服务商的内部网络延迟为主要考察对象。云眼监测系统在被测云服务商相同地域、相同可用域以及相同VPC中随机供应两台业务虚拟机,发起100次互Ping并统计最小延迟(Min)、最大延迟(Max)、平均延迟(Average)和延迟标准方差(Std Dev),单位是ms。如图33所示,天翼云的内部网络延迟波动大;UCloud不但延迟低,而且波动小。
图33网络延迟
2.网络带宽
如果说网络延迟是IP层需要关注的指标,那么网络带宽则是传输层需要关注的指标。在与前述网络延迟评测相同的环境下,云眼监测系统测量了内网的TCP最大带宽,单位是Mbit/s。被测云服务商天翼云3.0和阿里云提供千兆的内部网络带宽,而UCloud拥有万兆的内部带宽。另外经确认,天翼云进行了内网限速。
图34网络带宽
3.网络吞吐率
图35给出了被测云服务商在前述RR、CRR、STREAM三种不同业务使用模式下的网络吞吐率,其中RR模式和CRR模式下的单位是transactions/sec,STREAM模式下单位: Mbits/sec。由此可见,网络带宽大并不一定业务吞吐高,对于数据库和Web访问业务,UCloud吞吐性能最好,天翼云3.0稍逊,阿里云吞吐性能最差。
图35网络吞吐
(八)存储性能
目前主流的云服务商都提供普通云硬盘和SSD高速云硬盘两种服务,我们以普通云硬盘为主要对象。在本报告被测的主流云服务商中,各个云服务上均采用了SSD云盘。存储性能首先划分为读和写两种基本操作,随机和序列两种访问模式,以及带宽、延迟、IOPS吞吐三种常见指标进行了排列组合和编号,如表14所示。其中,带宽单位:KB/s,延迟单位: usec,IOPS单位:Operations Per Second。
图36普通云硬盘IOPS存储IO吞吐(以4u8g为例)如图36示,UCloud IOPS吞吐显著,尤其对随机访问进行了优化。另外经确认,天翼云为了避免IO争抢,对存储性能进行了限制。
图36普通云硬盘IOPS
存储IO带宽如图37~38示,考虑到量纲不同,将A序列写带宽、D序列读带宽与G随机写带宽、J随机读带宽区分。可见IO带宽越大越好,UCloud随机访问带宽最高。
图37~38普通云硬盘存储带宽
同样,存储IO延迟如图39~40示,可见UCloud随机访问延迟较低。
图39~40普通云硬盘存储延迟
图41-44显示的是其他几种规格(如1u1g、8u32g、16u32g、16u64g) 带宽、延迟、IOPS吞吐三种常见展示情况。如图所示:UCloud IOPS吞吐显著,尤其对随机访问进行了优化,且顺序访问延迟最低,天翼云3.0随机访问延迟较低,阿里云最弱。
图41普通云硬盘IOPS
图42普通云硬盘IOPS
图43普通云硬盘IOPS
图44普通云硬盘IOPS
(九)操作系统性能
云眼监测系统基于Centos 7.1(64位),模拟了前述6类常见的系统操作。图45是被测云服务商操作系统性能的综合得分,阿里云在16U以上的规格性能偏弱。Ucloud除1U1G外,其它规格的主机得分都是最高。
图45 操作系统综合得分
(十)数据库性能
1.关系型数据库性能
云眼监测系统以流行关系型数据库MySQL为对象,对被测云服务商云主机上运行关系型数据库的性能进行了评测。天翼云3.0在1U1G和4U8G最快,Ucloud在8U以上的规格云主机最快。
图46 关系型数据库性能
http://cloudinsight.ctbri.com.cn/cloud/
好文章,需要你的鼓励
Blackwell GPU的生产制造工作量达到Hopper GPU的两倍有余,但带来的收入仅增加至约1.7倍。
由AMD驱动的El Capitan超级计算机(现位于美国劳伦斯利弗莫尔国家实验室(LLNL))成为世界上速度最快的超级计算机。