冷存储是不经常访问但却是必需数据的术语。人们需要了解冷存储如何工作,以及如何帮助大数据。
已经有一些企业侧重于分层存储算法,其基于数据需要被访问的频率,将数据路由到最合适的存储介质,特别注意第一层,数据需要快速和频繁的最快速的访问存储恢复器。
但是在“数据副本”中,高达85%的企业数据驻留在很少被访问的存储介质中,同时也存在一个迫在眉睫的危机,即如何以最低成本优化管理和维护这些数据,以及适当的数据存储,检索,安全和访问策略。
这种不常访问但仍然必要的数据的名称是“冷存储”。确定数据是“热”(经常访问),“暖”(适度访问)还是“冷”(不常访问)通常是存储管理员的工作,评估各种类别的数据访问。在某些情况下,数据中心甚至开始使用自动化存储分层软件来做出这些数据存储决策。
大数据因素进入讨论,因为有这么多的。为了治理的目的(即使不定期使用数据也需要保留数据),业务连续性(大数据和“常规”数据需要多个数据存储库,并用于灾难恢复故障转移)因为需要知道一切是什么,网站必须寻找低成本,缓慢的冷存储解决方案,所以他们可以承受这些必须保存但很少被访问的数据管理的成本。
适用于私有云环境的冷却数据服务提供商Storiant公司创始人兼首席执行官杰夫•福罗尔斯表示:“当我们研究存储市场时,我们认识到需要大容量冷存储,并且看到组织所有大数据流正在积累,这是一个日益严重的问题。”
福罗尔斯表示,他们可以在防火墙后安全保留数据,每月每GB每月只需0.01美元。亚马逊公司等大型公共云服务提供商也提供冷存储服务,但区别在于Storiant公司将其提供给用于企业的私有企业云;这吸引了许多企业使用公共云服务来提供他们的数据。
冷存储如何工作,以及如何帮助大数据
“大数据来自大的数据块,大数据分析经常需要处理大数据量的大数据对象。”福罗尔斯说。“使用冷存储,可以将一个存储大量数据的数据湖通过Hadoop计算节点扫描。”
像Storiant公司提供这样的解决方案可以容纳大型数据对象,这些数据对象包含表征最大数据的非结构化数据,以及日益包含大数据的物联网(IoT)数据(如网站日志文件)。当企业IT使用冷存储解决方案,并决定哪些存储容器要将大数据的特定块(或对象)分类到哪个存储容器时,企业可以对所有这些数据进行分类。在同一时间,可以分配给建立在容器中访问数据的每个容器的权限。
福罗尔斯表示,互联网服务提供商正在迅速实施这种风格的基于云计算的冷存储来存储大数据,因为它是弹性的,其能力可以满足扩展或收缩的需要。基于云计算的冷存储还具有财务灵活性,因为它消除了长期摊销数据中心资本支出(CAPEX)的需要,有利于更灵活地转换为资本性支出(OPEX)的冷存储方法,企业可以在短期内控制。
他说,“我们相信物联网将继续得到指数性增长,企业将需要管理自世界各地数以百万计的设备和数据源供应大量的大数据量,金融机构,医药公司,以及政府需要大规模,低成本的大型数据冷存储,最终,企业必须找到一种方法来安全地运行,并进行低成本分析,而私有云设置中的冷存储服务提供了这些优点。”
好文章,需要你的鼓励
英特尔携手戴尔以及零克云,通过打造“工作站-AI PC-云端”的协同生态,大幅缩短AI部署流程,助力企业快速实现从想法验证到规模化落地。
意大利ISTI研究院推出Patch-ioner零样本图像描述框架,突破传统局限实现任意区域精确描述。系统将图像拆分为小块,通过智能组合生成从单块到整图的统一描述,无需区域标注数据。创新引入轨迹描述任务,用户可用鼠标画线获得对应区域描述。在四大评测任务中全面超越现有方法,为人机交互开辟新模式。
阿联酋阿布扎比人工智能大学发布全新PAN世界模型,超越传统大语言模型局限。该模型具备通用性、交互性和长期一致性,能深度理解几何和物理规律,通过"物理推理"学习真实世界材料行为。PAN采用生成潜在预测架构,可模拟数千个因果一致步骤,支持分支操作模拟多种可能未来。预计12月初公开发布,有望为机器人、自动驾驶等领域提供低成本合成数据生成。
MIT研究团队发现,AI系统无需严格配对的多模态数据也能显著提升性能。他们开发的UML框架通过参数共享让AI从图像、文本、音频等不同类型数据中学习,即使这些数据间没有直接对应关系。实验显示这种方法在图像分类、音频识别等任务上都超越了单模态系统,并能自发发展出跨模态理解能力,为未来AI应用开辟了新路径。