端侧大模型有可能是最先引爆这一轮生成式AI的领域。
为什么这么说,与云侧大模型相比,端侧大模型可以更好地学习用户个人数据在本地实现智能化,而且数据不出端、不上云,隐私信息更安全。
IDC也预测,终端的AI化会成为AI发展与落地的重要支持方向。到2026年,中国市场中近50%的终端设备的处理器将带有AI引擎技术。
8月4日,华为开发者大会2023上,不仅HarmonyOS 4将受益于“盘古大模型”,华为还将大模型深度整合进手机系统,实现更高层次的融合,智慧助手小艺接入AI大模型能力,可以进行自然对话、会议纪要和辅助文案生成、图片二次创作等。
8月14日,小米年度发布会上,小米宣布自研13亿参数端侧大模型,在部分场景上可以媲美行业60亿参数的云端大模型,同时小米也将小爱同学升级大模型。
vivo预告了11月1日vivo开发者大会将发布全新手机操作系统OriginOS 4,首发搭载vivo自研AI大模型vivoLM。自研AI大模型矩阵包括十亿、百亿、千亿三个不同参数量级的5个自研大模型。
OPPO安第斯智能云团队打造了基于混合云架构的生成式大语言模型OAndesGPT。10月11日,OPPO宣布基于AndesGPT大模型打造的新版AI助手——新小布1.0开启了第一轮公测。
2023高通骁龙峰会期间,荣耀宣布荣耀Magic6系列将搭载第三代骁龙8移动平台,支持70亿参数的端侧AI大模型。灵动胶囊Magic Capsule可以基于眼神跟踪的多模态交互技术。YOYO助手提供简短提示来创建主题视频,甚至可以通过与YOYO助理对话更改背景音乐或模板。
几个月来,vivo、OPPO、小米的大模型也在两大中文大模型评测榜单C-Eval和CMMLU上“刷榜”了一波。
很多人会问,端侧芯片可以支持大模型的训练吗?一方面高通、联发科等芯片巨头也在探索将AI大模型植入端侧,一方面模型也在小型化,降低所需的资源和能耗,当然我们也看到未来大模型还是会向着云侧和端侧相结合发展。
本期《数字化转型方略》也将看看端侧代表们,在把大模型装进端侧上都做了哪些工作。我们也希望进一步看到未来随着端侧大模型对用户个人数据和习惯的学习成长,带来更深入的意图理解和更加个性化的复杂场景服务。
《数字化转型方略》2023年第10期:http://www.zhiding.cn/dxinsight/2310
好文章,需要你的鼓励
在2025年KubeCon/CloudNativeCon北美大会上,云原生开发社区正努力超越AI炒作,理性应对人工智能带来的风险与机遇。随着开发者和运营人员广泛使用AI工具构建AI驱动的应用功能,平台工程迎来复兴。CNCF推出Kubernetes AI认证合规程序,为AI工作负载在Kubernetes上的部署设定开放标准。会议展示了网络基础设施层优化、AI辅助开发安全性提升以及AI SRE改善可观测性工作流等创新成果。
维吉尼亚理工学院研究团队对58个大语言模型在单细胞生物学领域的应用进行了全面调查,将模型分为基础、文本桥接、空间多模态、表观遗传和智能代理五大类,涵盖细胞注释、轨迹预测、药物反应等八项核心任务。研究基于40多个公开数据集,建立了包含生物学理解、可解释性等十个维度的评估体系,为这个快速发展的交叉领域提供了首个系统性分析框架。
DeepL作为欧洲AI领域的代表企业,正将业务拓展至翻译之外,推出面向企业的AI代理DeepL Agent。CEO库蒂洛夫斯基认为,虽然在日常翻译场景面临更多竞争,但在关键业务级别的企业翻译需求中,DeepL凭借高精度、质量控制和合规性仍具优势。他对欧盟AI法案表示担忧,认为过度监管可能阻碍创新,使欧洲在全球AI竞争中落后。
西湖大学王欢教授团队联合国际研究机构,针对AI推理模型内存消耗过大的问题,开发了RLKV技术框架。该技术通过强化学习识别推理模型中的关键"推理头",实现20-50%的内存缩减同时保持推理性能。研究发现推理头与检索头功能不同,前者负责维持逻辑连贯性。实验验证了技术在多个数学推理和编程任务中的有效性,为推理模型的大规模应用提供了现实可行的解决方案。