生成式AI的发展让算力迎来了高光时刻,但不能忽视存储在其中的作用。
在经历了两年的下滑后,存储市场在2024年开始重新回到正轨。生成式AI为存储行业带来了一些机会,也带来一些挑战。
由于AI应用与传统数据处理方式有着显著区别,传统的存储架构已无法应对这些要求。更大容量、更高带宽、更低延迟,更低功耗,促使存储也要做出一些变革。
首先,速度是个老大难问题,当AI模型需要迅速生成创意时,却因为数据存取缓慢而“卡壳”,这无疑是一个令人沮丧的体验;
其次,存储容量的问题也不容小觑,生成式AI需要海量数据进行训练,传统存储在面对这些庞大的数据集时,往往感到无能为力;
最后,存储系统的可扩展性也让许多企业感到困惑,面对不断增长的数据需求,怎样迅速调整以跟上步伐,成为一大挑战。
大家也是八仙过海,各显其能。
SSD凭借其超快的速度和可靠性,由于生成式AI需要迅速访问和处理大量数据,SSD减少了数据存取过程中可能出现的瓶颈。云存储的灵活性也让企业能够根据需求动态扩展存储资源。当然传统的机械硬盘也有一席之地,在大模型的训练过程中,机械硬盘也可以在多个环节提供相应的支撑,其性价比仍然具有优势。
存储系统与生成式AI之间的协作将更加紧密,高效的存储解决方案将直接影响AI模型的训练和运行效率,确保海量数据能够快速存取、处理与分析,并能应对大模型时代的复杂需求。本期《数字化转型方略》我们将从芯片技术、硬盘选择、企业级存储产品以及云平台的应用,深入探讨生成式AI时代存储架构的变革。
未来随着生成式AI在各个行业的广泛应用,存储将不再是一个孤立的环节,而是成为了推动AI发展的核心组成部分。
《数字化转型方略》2024年第9期:http://www.zhiding.cn/dxinsight/2409
好文章,需要你的鼓励
随着AI模型参数达到数十亿甚至万亿级别,工程团队面临内存约束和计算负担等共同挑战。新兴技术正在帮助解决这些问题:输入和数据压缩技术可将模型压缩50-60%;稀疏性方法通过关注重要区域节省资源;调整上下文窗口减少系统资源消耗;动态模型和强推理系统通过自学习优化性能;扩散模型通过噪声分析生成新结果;边缘计算将数据处理转移到网络端点设备。这些创新方案为构建更高效的AI架构提供了可行路径。
清华大学团队开发了CAMS智能框架,这是首个将城市知识大模型与智能体技术结合的人类移动模拟系统。该系统仅需用户基本信息就能在真实城市中生成逼真的日常轨迹,通过三个核心模块实现了个体行为模式提取、城市空间知识生成和轨迹优化。实验表明CAMS在多项指标上显著优于现有方法,为城市规划、交通管理等领域提供了强大工具。
Meta以143亿美元投资Scale AI,获得49%股份,这是该公司在AI竞赛中最重要的战略举措。该交易解决了Meta在AI发展中面临的核心挑战:获取高质量训练数据。Scale AI创始人王亚历山大将加入Meta领导新的超级智能研究实验室。此次投资使Meta获得了Scale AI在全球的数据标注服务,包括图像、文本和视频处理能力,同时限制了竞争对手的数据获取渠道。
MIT研究团队发现了一个颠覆性的AI训练方法:那些通常被丢弃的模糊、失真的"垃圾"图片,竟然能够训练出比传统方法更优秀的AI模型。他们开发的Ambient Diffusion Omni框架通过智能识别何时使用何种质量的数据,不仅在ImageNet等权威测试中创造新纪录,还为解决AI发展的数据瓶颈问题开辟了全新道路。