通用大模型可以在100个场景中,解决70%-80%的问题,但未必能100%满足企业某个场景的需求。
预训练模型也就是我们常说的通用大模型,它的训练数据都是大规模低成本获取的,所以通过训练得出的是某种共性能力。目前市场上有非常多的预训练模型,像GPT、LLaMA2等。
预训练模型用学习阶段来类比就好比高中,达到了一个平均水平,但是如果想要在特定领域有更好水平,就需要进一步进修到大学,也就是要在预训练模型上提供更多某领域的知识进行精调训练。
这也是为什么,从今年3月开始国内出现了“百模”大战的原因。《中国人工智能大模型地图研究报告》显示,截至2023年5月底,国内10亿级参数规模以上基础大模型至少已发布79个。2023世界人工智能大会(WAIC2023)上,国内外30余款大模型集中亮相。
“大模型”已经成为业界谈论的高频词,而且也呈现出向垂直领域“小而精”发展的态势。游戏、影视传媒、办公、医疗、金融、电商、广告、ERP、工业、家居等领域已经出现了基于行业大模型的相关应用。
行业大模型参数相对通用大模型更少,在推理和训练上的成本也更低,但是想要让大模型在行业中落地,并不是简单的通用模型加上行业数据就可以实现的。
首先需要将行业中分散的数据集中,其次拥有稳定的训练环境,最后训练上提供高效的算力调度和利用。综合看来不仅要有技术,还要让技术和行业应用场景结合,最后平衡成本、效率和体验,才能真正将行业大模型落地。
本期数字化转型方略也寻找到行业大模型中的参与者,他们分享了自己的行业大模型是如何实现,以及已经落地的场景和案例。同时我们也看到很多企业正在将行业大模型的能力开放出来,让更多的企业可以受惠。
可以预见,未来每一个企业都能拥有属于自己的大模型。
《数字化转型方略》2023年第9期:http://www.zhiding.cn/dxinsight/2309
好文章,需要你的鼓励
新加坡人工智能机构与阿里云发布全新大语言模型Qwen-Sea-Lion-v4,专门针对东南亚语言和文化特色进行优化。该模型结合阿里云Qwen3-32B基础模型和大量东南亚地区数据集,在东南亚语言模型评估榜单中位居开源模型首位。模型支持119种语言,能在32GB内存的消费级笔记本上运行,采用字节对编码技术更好处理非拉丁文字,并具备3.2万词元上下文长度,可执行文档级推理和摘要任务。
中科大联合快手等机构推出VR-Thinker技术,首次实现AI视频评判员的"边看边想"能力。该系统通过主动选择关键画面、智能记忆管理和三阶段训练,在视频质量评估准确率上达到75%-82%,特别擅长处理长视频场景,为AI视频生成的质量控制提供了突破性解决方案。
AI智能体是下一代业务自动化工具,不仅能对话交流,还能执行复杂任务。与ChatGPT聊天机器人不同,它们可在最少人工干预下规划并完成工作。文章介绍了五个高影响力应用:自动化客户服务解决方案、销售CRM管理、合规自动化、招聘筛选与排程、市场情报报告。这些应用都具有重复性工作流程、依赖结构化数据、遵循可预测规则等特点,能够释放员工宝贵时间用于更有价值的工作。
微软研究院发布BitDistill技术,通过三阶段优化将大型语言模型压缩至1.58位精度,在保持性能的同时实现10倍内存节省和2.65倍速度提升。该技术包括模型结构稳定化、持续预训练适应和知识蒸馏传承三个关键步骤,解决了模型量化中的性能衰减和规模化问题,为AI模型在资源受限设备上的高效部署提供了新方案。