ChatGPT仅推出2个月,月活跃用户就已达1亿,半年时间ChatGPT就成为了生成式AI的现象级产品。
在生成式AI的发展中,算力的存在可以说举足轻重。可以看到大模型正在带动AI算力需求超越摩尔定律增长,据统计AI训练任务中的算力增长,每 3.5个月就会翻一倍。
以GhatGPT为例,在预训练算力上,训练一次1,746亿参数的GPT-3模型需要的算力约为 3,640 PFlop/s-day,对应的单次训练成本高达460万美元;日常运营算力上,GhatGPT根据访问量与内容量测算,单月运营算力约4,800PFlop/s-day;调优迭代算力上,每月模型调优带来的算力需求为82.5~137.5 PFlop/s-day。
现阶段,算力作为数字经济时代新的生产力,已成为经济社会高质量发展的重要支撑。工业和信息化部数据显示,我国近年来算力产业年增长率近30%,算力总规模位居全球第二。截至2022年底,我国算力总规模达到180EFLOPS(每秒18000京次浮点运算),算力核心产业规模达到1.8万亿元。
工业和信息化部新闻发言人、总工程师赵志国近日表示,近期通用人工智能的发展对算力提出了更高要求,工业和信息化部将重点从三方面着手:一是持续推动算力基础设施建设;二是聚力推进关键核心技术攻关和产业升级;三是激发算力应用赋能价值。
而且在“百模”大赛下,全球算力需求呈指数级增加,带动了国内AI服务器市场快速增长。本期《数字化转型方略》将和大家聊聊什么样的算力,才能满足大模型千亿数量级的训练需求?AI算力还有哪些发展方向?
总的来说,AI算力的发展已经成为数字经济时代的重要驱动力,无论是芯片厂商、服务器厂商、还是云厂商,他们都在不断地满足着AI算力的需求,推动着AI技术的发展。而对于我们来说,未来是如何用好AI算力,产生创新洞见。
《数字化转型方略》2023年第7期:http://www.zhiding.cn/dxinsight/2307
好文章,需要你的鼓励
随着大语言模型在人工智能时代展现强大力量,可穿戴设备成为收集人体数据的重要载体。通过实时监测血压、心率、血糖等生命体征,结合AI边缘计算能力,医疗正向个性化转型。基因治疗、数字孪生技术让每个人都能拥有专属的医疗数字化身,实现从"报销型医疗"向"创新循证医疗"的转变,为疾病预防和健康管理带来革命性突破。
华中科技大学研究团队发现,通过让AI模型学习解决几何问题,能够显著提升其空间理解能力。他们构建了包含约30000个几何题目的Euclid30K数据集,使用强化学习方法训练多个AI模型。实验结果显示,几何训练在四个空间智能测试基准上都带来显著提升,其中最佳模型达到49.6%准确率,超越此前最好成绩。这项研究揭示了基础几何知识对培养AI空间智能的重要价值。
在巴黎举办的欧洲开放基础设施峰会期间,专门用一整天时间讨论VMware迁移问题。博通收购VMware后许可证价格上涨,导致客户运营成本大幅增加。开源开发者展示了将VMware虚拟机迁移到开源替代方案的产品。Forrester分析师指出VMware客户对此感到信任破裂。OpenStack等开源解决方案虽然复杂度较高,但提供了健康的开源生态系统替代方案。
中国人民大学研究团队开发了Tool-Light框架,通过信息熵理论解决AI工具使用中的过度调用、调用不足和过度思考问题。该框架采用熵引导采样和两阶段自演化训练,让AI学会合理使用外部工具。在10个推理任务测试中,Tool-Light显著提升了AI的效率和准确性,为AI工具集成推理提供了新的解决方案。