从3.0的岌岌无名到3.5的火爆“出圈”,ChatGPT到底经历了什么?
GPT3.0与3.5的数据量差别并不是很大,它的token(自然语言处理的最细粒度)数并没有多大改变。然而当GPT3.0在使用RLHF技术,升级为人类可以理解的自然语言版本GPT3.5,并优化成ChatGPT后,它就“出圈”了!上海市人工智能行业协会秘书长、上海市人工智能标准化技术委员会秘书长钟俊浩的这番讲解,描绘了AIGC是如何走红的。
以AIGC为代表的大模型正为各行各业带来了巨大变革,使得许多原本复杂的任务变得简单高效。通过大规模训练出的模型,可以快速找到问题的解决方案,从而大大提高了工作效率。AIGC的崛起正为各行各业带来更多可能性,推动社会的进步。
上海市人工智能行业协会秘书长、上海市人工智能标准化技术委员会秘书长钟俊浩
AGI 人工智能的阶段性发展方向
AGI(Artificial General Intelligence)是人工智能领域中的通用人工智能。它与AI(人工智能)是从属关系,即AGI是AI的一个子集。AGI指具备人类级别认知能力的智能系统,它既包括像人一样思考,也包括理解人类行为和情感的能力。它的发展目标是让AI系统能够像人一样思考、理解和学习,并最终超越人类智能。但目前为止,AGI还处于研究和探索阶段,尚未实现技术上的突破。
但2022年11月份,这个瓶颈被OpenAI推出的ChatGPT所打破。相比较目前搜索引擎给出的内容,ChatGPT输出的内容更接近于人类加工后的成品,也就是现在经常说的通过人工智能生成内容AIGC(Artificial Intelligence Generated Content)的范畴,现如今AIGC不但可以用于对话,还可以生成图像、文字甚至程序代码。
AIGC的突破性在于,它让我们找到了人与机器进行直接沟通的方式。而不是再通过代码、编译后被动的控制机器进行工作。在钟俊浩看来,这意味着AIGC将会赋予人工智能感知的能力,用人类的大脑举例:人类大脑可以分为感知层、决策层、指导行为层和记忆层,呈现“三加一”的构建模式。
感知在其中占据了十分重要的地位,因为通过感知才能进行决策,从而影响行为并产生记忆。所以感知可以说是智能形成的基础,当然现在AIGC的感知理解能力还有不足,有时候还会一本正经地胡说八道,但这并不能阻止人工智能技术在AGI的道路上迈出重要一步。
对AIGC要进行正确的引导与规范
钟俊浩秘书长提到,人工智能领域的最新科学研究显示,近期对果蝇大脑的分析,是目前为止,世界上已经完成的最大、最复杂的大脑地图,细节展示幼果蝇大脑中的每一个神经连接。地图涵盖了总共3016个神经元之间相当可观的548000个连接。
此地图,可以深入地研究整个大脑的相互作用,进一步理解大脑如何产生行为、记忆和导航等能力。在研究中发现,无论是原始只有芝麻粒大小果蝇大脑,还是人类大脑,其神经网络与人工智能的神经网络高度一致。这或许说明最原始生物果蝇、具有复杂思维能力的人类以及未来的人工智能,都要通过类似神经网络的结构进行不断迭代,接续发展。钟俊浩说,在技术迭代发展过程中,会产生一个问题,我们要如何对人工智能进行正确的引导与规范。
当前AIGC技术的进展,已经可以实现文生文、文生图、文生视频这种深层次的人工智能应用。这种沟通、交流有一个学术名词,叫人类反馈、强化学习。这就要让AIGC树立一个正向的人类价值观,人类的世界观,让它了解什么可以做,什么不可以做。
目前的人工智能虽然能与人类对话,但仍有许多局限性,如缺乏道德观念和法律意识,而且人工智能的使用者对其影响很大,因此需要在教育和引导上有所作为。此外,还有网络安全的挑战,包括数据泄露、虚假信息传播等问题。
虽然目前大模型仍存在一定风险,但国家鼓励科技创新的态度,对AIGC技术进步有着重要影响。所以在国内AIGC发展过程中,既要关注技术创新,也要注重监管政策引导。
我国采取了备案制策略,不需要经过繁琐的审批流程,就可以缩短整体办理时间,有利于企业快速获取资质并投入市场,并且能节省企业在时间和人力成本上的消耗。
技术突破与潜在风险的双重思考
AIGC及其相关人工智能技术的发展,不但要面临算力,还要面临电力的双重挑战。
人的大脑与人工智能神经网络高度一致,但在功耗方面存在非常大的区别。大脑的能耗约为15-30瓦,但算力相比硅基芯片高10万倍以上。
在这方面,国家已经出台了一系列政策和措施帮助企业解决算力难题,如发放优惠券、提供算力补贴等,降低企业的创业成本。此外,政府还需要搭建平台,将各种资源整合起来,为技术创新提供支持。钟俊浩表示,行业协会作为行业组织,也需要积极参与,协助政府和相关企业解决问题,共同推动产业发展。
当然人工智能的发展必然出现很多曲折,现阶段许多AI公司都在通过AIGC技术为现有的产业提供服务,比如研发特定领域的模型、优化生产过程等。然而,当这些技术应用到实际产业时,却遇到了很多困难,比如如何将技术转化为生产力、如何在市场竞争中获得优势等,有必要关注这些问题并寻找解决方案。
最后,钟俊浩也谈到,有人提出人工智能可能会成为人类的终结者,但也有人表示相信人工智能会在不断约束下不断发展的问题。关于如何将智慧装入机器中使其具有自主意识和智慧,目前的技术尚未完全突破,AIGC让人工智能道路上迈出了一小步,但还需要更大的计算能力和能源支持,而且还有对于科技与伦理、安全和价值的考虑也越来越重要。
人工智能在未来具有巨大的发展潜力,但在追求科技进步的同时,我们也需要关注其潜在的风险和影响。
好文章,需要你的鼓励
这项研究由德累斯顿工业大学等机构的研究团队完成,旨在解决主动学习未被广泛应用的问题。研究者构建了包含460万种超参数组合的实验网格,系统分析了各参数对主动学习性能的影响。研究发现,不同策略实现间存在显著差异,基于边缘的不确定性策略整体表现最佳,随机选择约4000个超参数组合即可获得可靠结果。这些发现为设计可重现、可信赖的主动学习实验提供了明确指导,有助于降低入门门槛,促进技术在实际应用中的普及。
这项由英国爱丁堡大学和上海人工智能实验室研究者共同完成的工作提出了LongBioBench,一种用于评估长文本语言模型的新型基准测试框架。通过使用人工生成的虚构人物传记作为测试环境,该框架在保持可控性的同时,提供了更真实的评估场景。研究对18个长文本模型的测试表明,即使最先进的模型在检索、推理和可信任性方面仍存在显著挑战,特别是上下文长度增加时。研究还揭示了现有合成基准测试的设计缺陷和长上下文预训练的局限性,为未来模型开发提供了重要指导。
SuperWriter是一项来自新加坡科技设计大学和清华大学的突破性研究,通过模仿人类"先思考后写作"的过程,彻底改良了AI长文生成能力。该研究团队开发的框架包含三个关键阶段:规划、写作和修改,使AI能像专业作家一样进行结构化思考。实验结果表明,经过训练的SuperWriter-LM模型不仅超越同等规模的所有AI模型,甚至在某些领域表现优于规模更大的顶级模型,为AI辅助写作开创了新的可能性。
香港大学与阿里巴巴达摩院合作开发的LayerFlow是一种突破性的层级视频生成技术,能同时生成透明前景、完整背景和混合场景视频。该技术通过创新的框架设计将不同视频层级作为子片段连接,并引入层级嵌入使模型区分各层级。面对高质量训练数据稀缺的挑战,研究团队设计了三阶段训练策略,结合Motion LoRA和Content LoRA,实现了图像和视频数据的联合训练。LayerFlow不仅支持多层视频生成,还能实现视频分解和条件层生成,为视频创作领域带来革命性变革。