虽然2023年被称为是大模型元年,但全球科技界普遍认为,今天对于未来的想象力,依然是保守的。
从Chat GPT的出现到百模大战,只用了不到半年时间,生成式AI已经成为一个不得不打,还要打出成绩的战役。
经过一年的沉淀,通用大模型的能力正在逐渐增强,大模型厂商也在将这些能力逐渐下沉,希望真正应用到实际场景产生价值。
行业中也出现了一些产业标准和评测指标,12月22日,国内首个官方“大模型标准符合性评测” 《人工智能大规模预训练模型第2部分:评测指标与方法》结果公布,百度文心一言、腾讯混元大模型、360智脑、阿里云通义千问四款国产大模型首批通过测试。
测试由工信部中国电子技术标准化研究院发起,评测围绕多领域多维度模型评测框架与指标体系,从大模型的通用性、智能性、安全性等维度开展,涵盖语言、语音、视觉等多模态领域。
评测指标与方法的出台,一方面可以评估大模型的能力,一方面可以减少大模型诸如幻觉带来的安全问题、伦理问题。
我们常说的大模型幻觉,就是“胡说八道”。具体是指模型生成的内容与现实世界事实或用户输入不一致的现象。
大模型幻觉问题在于可能会导致误信和误用,特别是在用户未能意识到模型输出的不可靠性时。因此,理解和识别大模型幻觉的存在,对于任何依赖或使用这些技术的人来说都至关重要。
这要求从技术层面持续改进模型的准确性,减少错误和偏差的发生。让我们可以更安全、更有效地利用大模型的强大能力,同时避免或减轻由幻觉带来的负面影响。
最近,来自哈尔滨工业大学和华为的研究团队发表了一篇长达50页的综述,综述给出了一套新的范畴框架来定义模型幻觉,并将其分为事实性幻觉、忠实性幻觉两大类,其中也列出了少不业内比较有代表性减轻幻觉的方法。
本期《数字化转型方略》将探讨大模型的指标和幻觉问题,因为大模型不能只是刷榜,企业可以通过哪些关键指标来做判断是未来应用的关键,还有就是需要持续性关注的大模型的幻觉问题,推动AI向更可靠、更安全的方向发展。
《数字化转型方略》2023年第12期:http://www.zhiding.cn/dxinsight/2312
好文章,需要你的鼓励
这项研究介绍了Ankh3,一种创新的蛋白质语言模型,通过多任务预训练策略显著提升了模型性能。研究者采用两种互补任务:多掩码概率的掩码语言建模和蛋白质序列补全,使模型仅从蛋白质序列就能学到更丰富的表示。实验表明,Ankh3在二级结构预测、荧光预测等下游任务中表现优异,尤其在模型未曾训练过的任务上展现出强大泛化能力,为蛋白质设计和分析开辟了新路径。
法国波尔多大学研究团队开发了一个突破性框架,用于神经退行性痴呆症的差异化诊断。该框架将3D脑部MRI转换为文本报告,并利用强化学习优化的大语言模型进行详细诊断推理。不同于传统"黑箱"方法,这一系统能生成透明、有因果关系的解释,同时保持高诊断准确率。研究显示,通过群组相对策略优化(GRPO)训练的轻量级模型能展现复杂推理行为,包括假设检验和非线性思考,提供与临床决策流程一致的排序诊断结果。
这项研究提出了CLUE框架,首次能够生成自然语言解释来揭示AI事实核查系统不确定性的来源。与现有方法不同,CLUE能识别文本片段间的冲突与一致关系,并解释它们如何影响模型的预测不确定性。实验表明,CLUE生成的解释在三种语言模型和两个事实核查数据集上都更忠实于模型不确定性,用户评价其更有帮助、信息更丰富、冗余更少且逻辑更一致。CLUE不需要微调或架构更改,适用于任何白盒语言模型,为事实核查提供了实用支持。
来自香港科技大学和MiniMax的研究团队开发了SynLogic,一个可合成35种逻辑推理任务的框架与数据集,填补了AI逻辑训练资源缺口。研究表明,在SynLogic上进行强化学习训练显著提升了模型逻辑推理能力,32B模型在BBEH测试中超越了DeepSeek-R1-Distill模型6个百分点。更值得注意的是,将SynLogic与数学和编程数据混合训练不仅提高了这些领域的学习效率,还增强了模型的泛化能力,表明逻辑推理是构建通用AI推理能力的重要基础。