数据的日益增长会为企业带来很多问题,因为数据不仅仅是简单存储在物理介质上,其中还存在大量业务层需要关注的问题。
一是敏捷和成本,如何应对海量数据增长所带来的成本急速上升与数据存储服务敏捷性能之间根深蒂固的矛盾;二是数据多样化需求,如何设计不同的存储服务满足不同业务的需求;三是数据安全和数据合规。
亚马逊云科技从2006年推出第一款服务就是存储服务Amazon S3,到现在16年间亚马逊云科技已经形成了完整而强大的存储服务阵容,亚马逊云科技存储服务“全家桶”全面覆盖对象存储、块存储、文件存储、备份、容灾、以及数据传输与边缘处理。
亚马逊云科技大中华区产品部总经理陈晓建表示,亚马逊云科技正在存储领域不断创新应对数据爆涨带来的三大技术挑战。第一,智能分层:通过智能分层解决成本与敏捷性的矛盾;第二,专门构建:针对不同企业的应用场景,开发专门的云存储服务满足不同应用的数据存储需求;第三,统一数据保护,通过一站式备份软件解决云端数据备份要求。
亚马逊云科技大中华区产品部总经理陈晓建
智能分层
随着数据量的增长,存储的成本必然会提升,这时是要牺牲成本保持一定的读写性能,还是牺牲读写性能来保证成本不会急剧上升,就成了企业的一大挑战。陈晓建指出,亚马逊云科技16年做的非常重要的工作就是不断优化成本。
Amazon S3的成本正在持续下降,以S3标准频繁访问层(Amazon S3 Standard Frequent Access)为例,16年价格降低7倍,2021年12月宣布在全球9个区域,S3标准非频繁访问层(Amazon S3 Standard-Infrequent Access)和S3单区非频繁访问层(Amazon S3 One Zone-Infrequent Access)的存储价格再降低 31%。
亚马逊云科技开发了多达8层的存储层级,满足热、温、冷、冻等不同的访问层级,应对企业业务不同的数据访问频次,兼顾性能和数据保存成本。
在去年re:Invent大会上,亚马逊云科技推出了Amazon S3 Glacier Instant Retrieval即时检索归档存储,重新定义了归档存储,以低成本实现归档数据快速检索,面向每季度访问一次、又需要能毫秒级取回的海量数据,例如音频视频、手机相册、日志归档、影像资料等,提供低成本的存储分层。与Amazon S3 Glacier相当的定价,毫秒级的取回性能,用户可以把冷数据当成热数据来处理,在三个可用区上保证11个9的数据持久性。
针对冷热数据问题,2018年亚马逊云科技推出了Amazon S3智能分层功能,面向未知访问模式的海量数据。Amazon S3可以自动在不同层级的存储之间移动数据,实现至多68%的成本节省。某国内互联网公司几十PB的数据通过智能分层在保证数据访问性能不变的情况下节省了62%的成本。
而且在Amazon S3之后,数据分层功能首次拓展到文件存储Amazon EFS,Amazon EFS提供四种存储等级,可节省高达72%的存储成本。
专门构建
现阶段数据的类型非常多,主要可以分云原生的现代化应用和传统云端企业应用两大类。
针对云原生现代化应用,例如网站托管、数据湖、数字营销、云相册、音视频分享、电商平台、社交媒体等应用,客户可以使用Amazon S3和云原生Serverless文件存储Amazon EFS来解决。
针端云端企业级应用,例如ERP/CRM、数据库、自动驾驶、生命科学、混合云、模拟仿真、气象分析、EDA、视频渲染等应用,亚马逊云科技提供了Amazon EBS IO2 BX和Amazon FSx系列服务,Amazon EBS IO2 BX是为运行在线下数据中心SAN存储上的应用而设计。
“企业应用主要有四个大类,Windows为主的应用、高性能计算、多种类企业应用、大数据环境,所以亚马逊云科技构建了Amazon FSx家族,为各类企业应用而专门构建的共享文件存储。”陈晓建说道。
FsX = File X System, X意味着多种文件存储选择,专门为企业不同业务需求构建。
2018年11月推出Amazon FSx for Windows File Server完美支持 Windows Server工作负载。
2021年11月发布全新一代Amazon FSx for Lustre面向HPC计算密集型工作负载,帮助客户快速完成高性能计算,如基因测序,新药研发,自动驾驶模拟仿真,半导体设计等任务。
新一代Amazon FSx for Lustre包括了两大特点,第一,与当前一代相比,提供5倍的吞吐量(每 TB 高达 1GB/秒);第二,支持与S3的数据更新双向同步,在S3或Lustre任一侧更新数据,都可以在另外一侧实现自动快速同步。
金风慧能采用亚马逊云科技的HPC集群和Amazon FSx for Lustre高性能共享文件系统,在一周内完成系统搭建,整个系统让金风慧能的气象数据计算时间缩短了1/3, 每年节约了70%成本。
2021年11月发布Amazon FSx for OpenZFS面向大数据分析Linux工作负载。通过它,可以让ZFS或其他基于Linux的文件服务器迁移到亚马逊云科技时不需要改变应用和管理数据的方式,提供高达1百万IOPS,而延迟仅有几百微秒,非常适合运行像机器学习和音视频实时处理这类数据密集型工作负载。
亚马逊云科技和企业NAS市场的领导者NetApp合作,于2021年9月发布Amazon FSx for NetApp ONTAP,方便企业业务无缝迁移上云。使客户能够在亚马逊云科技上启动、运行和扩展全面托管的NetApp ONTAP文件存储服务,无需修改其应用、工具、流程或工作流,即可将其在NAS设备上运行的应用迁移至亚马逊云科技。
统一数据保护
数据备份一直存在三大挑战,第一,系统使用复杂,第二,如何保证安全合规要求,第三,备份带来额外成本。
Amazon Backup一站式备份服务支持15种以上的数据源备份,包括全部的存储服务(块、文件、对象),以及各类数据库,计算和存储网关。提供图形化管理控制台,提供基于策略的备份解决方案,简化备份管理。通过集中式的备份监控和日志,以及数据安全和权限管理服务,确保备份数据的安全合规。通过数据冷热分层来降低成本。
Amazon Backup为关键数据提供可靠保护,包括:所有的备份数据都支持KMS加密;备份恢复操作权限和数据访问权限都可以通过IAM细颗粒度授权;利用Amazon Backup的集中数据备份,以及备份库锁定功能,可以有效的防止勒索病毒的攻击,生产数据备份到备份库,设置备份库锁定功能,病毒或者恶意操作都无法改变或者删除备份库中的数据;备份库支持冷热分层,近期的备份数据存储在热备份库里,一周或者一个月后的数据可以基于策略自动迁移到冷备份库,按冷备份库的价格为热备份库的20%。
澳大利亚领先的独立石油和天然气生产商Santos采用 Amazon Backup,不仅备份时间减少了80%,降低了相关运营成本50%,最重要的是,备份任务的成功率从 80% 提高到 100%,完全满足了合规需求。
写在最后
亚马逊云科技存储服务已经成为IT行业的“水”和“电”,让各行各业的业务都能从存储服务中获得价值。现在亚马逊云科技还保持这Day1的心态,把自己当做2006年3月14日发布第一款存储服务一样,还有很多新的功能需要开发,为用户带来更多价值。
好文章,需要你的鼓励
随着各行各业数字化变革的不断深入,人类社会正加速迈向智能化。作为智能世界和数字经济的坚实底座,数据中心也迎来了蓬勃发展。面
“未来软件定义汽车”的设想也成为马丁当前运营路线的指导方针,且高度关注数据、零件和资产管理等议题。