英伟达CEO黄仁勋和Meta CEO马克·扎克伯格,在美国丹佛举行的第50届SIGGRAPH图形大会上进行了一场关于生成式AI的对话,并且他们还互赠了皮衣。
推荐系统是世界上设计出的最大计算系统之一。马克·扎克伯格提到推荐系统对Facebook和Instagram的重要性,如何从朋友动态发展到公共内容的推荐系统,生成式AI如何改进推荐功能,以及未来AI助手广泛应用和生成内容的潜力。
AI Studio将帮助每个创作者构建一个AI版本的自己。Meta的AI Studio允许创作者在有限时间内实现更多互动,用户可以训练这些AI代理以代表自己与社区进行互动。无论是艺术家、小企业还是其他用户,都可以通过AI Studio创建定制化的AI代理,进行客户支持、销售等任务。
从PyTorch到Llama 3.1,Meta的开源哲学。现在几乎每个公司都在构建AI,Meta开源了PyTorch和Llama 3.1,这对全球企业产生了巨大影响。Meta通过开源技术,节省了数十亿美元,并推动了行业标准化。Meta的开源策略不仅有助于构建更高效的系统,还促使生态系统围绕这些标准进行优化。马克·扎克伯格强调,开源策略作为商业策略非常有效,它不仅提高了技术的普及和改进,还为整个行业带来了巨大的价值。
全息眼镜还有一段时间,AI智能眼镜现在就来了。Meta正与顶尖眼镜制造商合作,开发具备AI功能的智能眼镜,目前已经推出了第二代雷朋眼镜,集成了摄像头、麦克风和扬声器,能够实现拍照、录视频和实时通讯等功能。
在最后黄仁勋称赞了Meta的成就,从桌面到移动,再到VR和AI的多次转型,并强调英伟达也经历了类似的变革,尽管过程艰难,但这是成为创新先锋的代价。马克·扎克伯格回应这不仅是转型,而是不断增加新内容的过程,并提到Meta现在已经拥有60万块H100。
以下为对话实录:
推荐系统是世界上设计出的最大计算系统之一
黄仁勋:这里是 SIGGRAPH。你知道,这里聚集了众多博士。SIGGRAPH 最棒的地方在于,它是计算机图形学、图像处理、AI 和机器人技术融合的盛会。多年来,许多公司在这里展示了他们的惊人成就,包括迪士尼、皮克斯、Adobe 和 Epic Games。
当然,英伟达今年在这里也取得了显著成果。我们在AI和模拟的交叉领域推出了20篇论文。因此,我们正在使用AI进行帮助模拟,规模更大,速度更快。我们正在使用仿真来创建用于合成数据生成的仿真环境。
这两个领域真的融合在一起了,我为我们在Meta所做的工作感到非常自豪。你们做了惊人的AI工作。我们都受益于Meta开发的PyTorch,它在计算机视觉、语言模型以及实时翻译等领域取得了开创性的成果。
我想问你的第一个问题是,你如何看待Meta目前在生成式AI方面的进展,以及你是如何利用这些技术来优化运营或开发新能力的?
扎克伯格:首先,我真的很高兴能来到这里。Meta做了很多工作,并且多年来一直参与SIGGRAPH会议。与你们这些资深参与者相比,我们还只是初来乍到,但我想那是在 2018年,你那次著名的演讲,对吧?我只是想说,谢谢你们欢迎我来到你们的地盘。
在2018年,我们展示了VR和混合现实头戴设备的一些早期手部追踪技术。我们已经详细讨论了我们在高保真化身技术方面取得的进步,这些化身可以从消费者的头戴设备中驱动,我们正逐步实现这一目标,对此我们感到非常兴奋。
此外,我们在显示系统方面也做了大量工作。我们正在进行的一些未来原型和研究旨在使混合现实头戴设备变得更加轻薄,这需要使用先进的光学堆叠技术和集成显示系统。我们通常首先在这里展示我们的最新成果,所以今年能来参加感到非常兴奋,我们不仅讨论了反向工程的内容,还涉及了所有与AI相关的领域。
我们从FAIR,即AI研究中心开始,那时还是Facebook,现在是Meta,在我们成立Reality Labs之前,我们已经在这个领域耕耘了一段时间。生成式AI技术正在引发一场有趣的革命。我认为它将最终以有趣的方式改变我们所做的每一个产品。我的意思是,我亲历了这一切的发展。
你可以看看我们已有的主要产品,比如Facebook和Instagram的动态和推荐系统。我们一直在不断地发展这些产品,它们已经从最初的与朋友联系功能发展了更多功能。
排名功能一直非常重要,即使你只是关注朋友,如果有人分享了重要事件,比如你的表弟生了孩子,你当然希望这个消息能出现在动态的最上方。如果我们没有把它突出显示,而是让它埋没在动态中,你可能会对我们感到非常不满。
排名功能一直很重要,但在过去几年中,它已经发展到了一个新的阶段,越来越多的内容变成了各种公共内容。推荐系统因此变得至关重要,因为现在面对的不再是几百或几千个来自朋友的潜在帖子,而是数百万个内容片段,这构成了一个极具挑战性的推荐问题。
随着生成式AI技术的进步,我相信我们很快就会进入一个新的阶段,届时Instagram上推荐给你的大部分内容将不仅仅是基于你关注的人,而是来自世界各地与你的兴趣相匹配的内容。未来,大量内容也将通过这些工具被创造出来,其中一部分将是由创作者使用这些工具创作的新内容。
我认为,其中一部分内容最终将根据你的需求即时生成,或者是通过整合全球各地的不同资源来创造的。这正是我们核心业务将如何演变的一个例证。实际上,这种演变已经持续了20 年。
黄仁勋 :我认为很少有人意识到,推荐系统是世界上设计出的最大计算系统之一。
扎克伯格 :确实,这是一个全新的方向,它并不是人们热议的生成式AI领域,但我认为它就像是一种架构,所有的转换都是架构。这就像是在构建越来越通用的模型,将非结构化数据转化为有用的特征。
推动质量提升的一个关键因素是,过去我们为每种内容类型都设计了不同的模型。例如,我们曾有一个模型专门用于短视频的排名和推荐,另一个模型则用于长视频。通过产品开发,我们使得系统能够在线显示任何类型的内容。
随着你创建出能够覆盖所有内容的通用推荐模型,这些模型会变得越来越精准。这部分是因为内容的流动性,就像经济学中的概念,你从一个更广泛的内容池中提取,这样就避免了从不同池子中提取内容时可能出现的效率低下问题。
随着模型变得越来越强大和通用,它们的性能也会不断提升。我梦想着有一天,Facebook或 Instagram几乎可以由一个单一的AI模型驱动,这个模型能够整合不同的内容类型和系统,这些系统在不同的时间尺度上有着各自的目标。有些内容是向你展示今天你可能感兴趣的有趣内容,而有些则是长期帮助你扩展社交网络,你可能认识的人或你可能想关注的账户。
黄仁勋:多模态模型通常在识别模式和微弱信号方面表现更出色。人们总是对AI在你公司中的深度应用感到好奇,毕竟你们一直在构建GPU基础设施,并且运行这些大型推荐系统已经有一段时间了。
现在,生成式AI真正酷的地方在于,当我使用WhatsApp时,我感觉我正在与它合作。我喜欢想象,当我打字时,它正在实时生成图像。我回头修改我的文字,它就会生成不同的图像?
所以那个中国老人在日落时,一边品着威士忌,一边被三只狗围绕着,一只是金毛猎犬,一只是金毛混血犬,还有一只是伯恩山犬。它生成了非常吸引人的一张图片。是的,我们已经做到了,那是我每个月的样子。确实,这更好了。现在你实际上可以在那里上传我的照片。这是真的我吗?
扎克伯格:想象一下,我花了很多时间与我的女儿们一起玩耍,想象她们变成美人鱼等角色,过去的一周真是乐趣无穷。是的,这就是生成式AI的另一面。一方面,我认为它将为我们的工作流程和产品带来一次重大升级。但另一方面,它还将催生出许多全新的创意。
因此,Meta AI的概念是拥有一个能够帮助处理各种任务的AI助手,这将是极具创造性的,正如你所描述的那样。但重要的是,它们非常通用,因此不必局限于特定用途。随着时间的推移,它将能够回答任何问题。
当我们从Llama 3类模型过渡到Llama 4类模型及其更高级版本时,这种体验将不再局限于简单的聊天机器人模式。不再是你给出提示,它就回应,然后你再给出提示,它再回应。相反,它将迅速发展,能够根据你的意图独立工作,跨越多个时间框架。
它应该从一开始就确认你已经向它表达了你的意图。我认为有些东西最终会加速计算工作,需要几周或几个月的时间,比如,当世界上发生了一些重大事件时。我认为这将具有非常强大的力量。
AI Studio将帮助每个创作者构建一个AI版本的自己
黄仁勋:今天的AI主要功能是接收输入并做出回应。但当我们面对一个任务或问题时,我们通常会考虑多个选项,甚至可能构建一个决策树来考虑每种可能的选择所带来的不同结果。这就是我们在进行规划的过程。未来的 AI 也将执行类似的操作。
你阐述关于创作者AI的愿景时,我感到非常兴奋。这个想法确实令人振奋。请向大家介绍一下创作者AI以及这个AI工作室,它将如何帮助大家实现这一目标。
扎克伯格:我们之前提到过,但今天我们正在将这个项目扩展到更广泛的范围。我们的愿景是,不会只有一个AI模型。有些公司似乎在构建一个中央代理,但我们会提供一个Meta AI 助手供大家使用,我们希望赋予所有使用我们产品的人创建自己代理的能力。
无论是平台上的众多创作者,还是数以亿计的小企业,我们最终希望能够整合所有内容,并迅速创建一个业务代理,以便与你的客户互动,进行销售和客户支持等。我们现在开始推广的项目被称为 AI Studio。
AI Studio 是一套工具,最终将帮助每个创作者构建一个AI版本的自己,作为社区可以与之互动的代理或助手。
如果你是一名创作者,你希望与社区有更多互动,但时间是个限制。同样,你的社区也希望与你互动,但这同样困难,因为时间有限。因此,允许人们创建这些AI代理,实际上是一种替代方案。这些AI代理虽然不是创作者本人,但你可以训练它们以你想要的方式代表你,就像创作艺术作品或发布内容一样具有创造性。
这些代理不是直接与创作者本人互动,但我认为这是创作者在社交平台上发布内容后,以另一种有趣的方式与观众互动的一种方式。同样,我相信人们将根据自己的需求和偏好创建各种用途的 AI 代理。有些可能是为了完成特定任务而设计的定制化实用工具,他们希望对其进行微调,还有些代理可能是为了娱乐目的而创建的。
有些人们创造的内容非常有趣,甚至有些荒谬,以各种不同的方式展现出来,或者对某些事情持有一种幽默的态度。这些内容可能不会被整合进 Meta AI 作为一个助手功能,但我认为人们对于看到和与这些内容互动非常感兴趣。另一个有趣的应用场景是,我们看到人们开始利用这些代理来获取帮助。
让我有些意外的是,Meta AI目前一个非常受欢迎的应用场景是人们用它来模拟即将面临的复杂社交情境。例如在职场中,我想问我的经理,如何才能获得晋升或加薪?或者我与朋友发生了争执,再或者我和女朋友之间出现了棘手的问题,这样的对话该如何展开?
这个平台提供了一个完全无压力的环境,你可以在这里模拟不同的对话场景,观察对话的进展,并获得有益的反馈。然而,许多人并不满足于只与单一类型的AI代理互动,无论是Meta AI、ChatGPT还是其他流行的选择,他们渴望创造属于自己的内容,这就是AI Studio的发展方向。
我们认为,人们不应该只与一个大型AI进行互动,我们相信,如果世界上存在更多这样多样化的内容,世界将变得更加美好和有趣。
黄仁勋:我认为这非常酷,如果你是一名艺术家并且拥有自己的风格,你可以将这种风格和你所有的作品集,微调成 AI 模型。现在,你可以向这个模型提出请求,让它根据你的艺术风格来创作。
你甚至可以提供一件艺术品,如一幅画或一个草图,作为灵感。我可以为你生成作品。你可以通过我的AI来获取这样的服务。未来每家餐厅、每个网站可能都会有这样的AI。
扎克伯格:我认为在不久的将来,就像现在每个企业都有一个电子邮件地址、网站和社交媒体账户一样,未来每个企业都会有一个AI代理来与客户互动。一些事情一直很难实现。例如,考虑任何一家公司,客户支持通常是与销售分开的部门。这并不是作为CEO希望看到的工作方式,因为这两者需要不同的技能。
黄仁勋:无论是购买商品还是处理购买后的问题,你希望有一个地方可以解答你的疑问,并以不同的方式与企业互动,我认为这也适用于客户服务。与客户的每一次互动,尤其是他们的投诉,都有助于提升公司的品质。
扎克伯格:是的,我认为这个业务版本在集成方面做得更多,我们目前还处于早期的测试阶段。但是AI Studio让用户能够创建自己的用户生成内容(UGC)代理和其他相关功能,并启动创作者创造它们的良性循环,我对这个项目感到非常兴奋。
黄仁勋:所以我能否使用AI Studio来优化我的图片,我的图片集?
扎克伯格:是的,我们将会实现这个功能。
黄仁勋:然后我可以把我写过的所有内容都加载进去,基本上把它当作我的个人助理,每次我回来时,它都会重新加载记忆,记得我们上次对话停在哪里。然后我们可以继续对话,就像之前从未中断过一样。
扎克伯格:是的,就像所有产品一样,它会随着时间的推移而不断改进。训练工具也会变得更好。这不仅仅是你想要它说什么。通常创作者和企业都有他们想要避免的话题,我们在这方面会不断进步。
你基本上希望能够与代理进行几乎像是视频聊天一样的互动,我相信我们很快就能实现这一目标。这些技术并不遥远,而且发展速度非常快,这让人感到非常兴奋。有很多新的内容等待我们去创造。
即使基础模型的进步现在停止了,但我认为这不会发生,我们仍然有大约五年的时间来进行产品创新,让整个行业学会如何有效地利用已经开发出的所有技术。但实际上,我认为基础模型和基础研究的进展正在加速,现在是一个非常激动人心的时期。
从PyTorch到Llama 3.1,Meta的开源哲学
黄仁勋:突然间每个公司都在建立 AI,无论是大型公司、小型公司还是初创公司都在建立 AI。现在 Llama 3.1 已经发布,我们正在将这项技术推广到全球的企业。这种兴奋程度非常高。我认为这将催生各种应用程序,请告诉我你的开源哲学?
你开源了PyTorch,现在它是进行 AI 的主要框架。现在你已经开源了 LMA 3.1 或 Lama。围绕它建立了一个完整的生态系统。我认为这非常棒,但这一切的起源是什么?
扎克伯格:随着时间的推移,我们已经做了很多开源工作。我认为其中一部分,我们是在其他一些科技公司之后开始建设的,或者像分布式计算基础设施和数据中心这样的东西。当我们建造这些东西的时候,它已经不是一个竞争优势了。所以我们就想,我们不妨将其开放,然后我们将从围绕它的生态系统中受益,我们有很多这样的项目。
最大的影响可能是我们公布了服务器设计、网络设计、数据中心设计,通过使这些成为行业标准,供应链几乎完全围绕它组织起来,这对所有人都有节省成本的好处。通过开源,我们实际上节省了数十亿美元。
黄仁勋:开放计算使得我们为数据中心设计的Nvidia hgx ISS能够在任何数据中心运行。
扎克伯格 :太棒了,这是一个非常棒的体验。我们用基础设施工具做了这件事,比如React PyTorch。所以当Llama出现时,我们倾向于为AI模型做这件事。过去20年在公司里建造东西真的很有趣,其中最困难的事情之一是不得不处理我们通过竞争对手的移动平台发布应用的事实。
所以一方面,移动平台对整个行业来说是一个巨大的推动力。另一方面,通过竞争对手的平台来发布你的产品是有挑战性的。我也成长在一个时代,那时Facebook的第一版是在网页上,是开放的。然后当它转向移动端时,好处是每个人都有一个计算机在他们的口袋里,这很棒,但缺点是我们在可以做的事情上受到了更多的限制。
所以当你观察这些计算时代时,有一种很大的近期偏见,每个人都只关注移动端,因为封闭的生态系统,苹果基本上赢了,并设定了这些条件。比如我知道实际上有更多Android手机,但苹果基本上占据了更大的市场份额,并且所有的利润都集中在苹果身上。
在发展上,Android基本上都在追随苹果,所以我认为苹果在这一代中显然是赢家,但情况并不总是如此。如果你回顾过去,苹果在封闭系统方面有所作为。微软虽然不是一个完全开放的公司,但与苹果相比,Windows运行在所有不同的OEM和不同的软件、硬件上,形成了一个更加开放的生态系统。
在个人电脑时代,Windows是领先的生态系统,可以看作是开放生态系统第一代。我对下一代的计算抱有希望,那就是我们将会回到开放生态系统占主导地位的那个时代。
总是会有封闭的和开放的两种选择。我认为两者都有其合理性,都有其好处。我并不是在这个问题上偏执。我们确实会做一些封闭源代码的项目,我们发布的并不都是开源的。但我认为,对于整个行业正在构建的计算平台,尤其是软件开源,这将为整个行业带来巨大的价值。
因此,这确实影响了我对AI和Llama,以及我们在AR和VR领域所做工作的看法。我们基本上是在为混合现实构建Horizon OS,类似于Android或Windows的开放操作系统。基本上,我们想让所有不同种类的设备都能工作,想让生态系统恢复到那个水平,即成为一个开放的平台。
我对下一代技术持乐观态度,尤其是开放技术方面将取得胜利,我只是想确保我们有使用权。这可能有点自私,但我的目标是,在接下来的10到15年里,确保我们能够构建我们用来构建社交体验的基础技术。
我想要构建很多东西,然后却被平台提供商告知“不,你不能真正构建它”,在某种程度上,我就想说“fuck that”。为了下一代,我们想要从头开始建造,并确保它去向何方。
黄仁勋:有多少人为PyTorch生态系统做出了贡献,仅英伟达就有几百人致力于让PyTorch 变得更好、更可扩展和性能更高等等。
扎克伯格:当某件事成为行业标准时,其他人会围绕它进行工作,所以所有的硬件和系统最终都会被优化,以便非常高效地运行这个东西,这会造福所有人,并且也会很好地与我们正在构建的系统协同工作。
我认为这只是这种方法如何变得非常有效的例子之一。所以我认为开源策略作为商业策略将会是一个好策略,我认为人们仍然没有完全理解这一点。
黄仁勋:拥有AI非常重要,因为这使得他们公司的机构知识得以编码和嵌入到AI中。所以他们不能让这个AI飞轮、数据飞轮和经验飞轮在其他地方。开源使他们能够做到这一点,但他们真的不知道如何将这一切转化为AI。
因此,我们创建了一个名为AI found的平台,我们提供工具、专业知识和技术支持,我们有能力帮助他们将所有这些内容转化为AI服务。当我们完成时,他们可以带走并拥有它。它的输出被称为NIM,即推理微服务,用户只需下载并运行它,包括在预训练和微调环境中。
我们拥有一个完整的生态系统,包括OEM合作伙伴,他们可以运行NIMs,以及我们已培训并合作创建Llama的GSI。现在我们正在帮助全球企业进行这样的操作。这真的是一件非常令人兴奋的事情,是由Llama的开源引发的。
扎克伯格:我认为特别帮助人们从大型模型中提炼出自己的模型将是一件非常有价值的新事物,就像我们在产品方面讨论的那样。至少我不认为会有一个主要的AI代理,每个人都在同一水平上与之交流。我不认为会有一个模型被每个人使用。
黄仁勋:我们拥有芯片设计的 AI,软件编码AI,以及理解我们的软件编码 AI,因为我们使用USD为Omniverse项目编码。我们还有理解vlog的软件AI,以及理解我们bug并知道如何帮助我们分类bug,将它们发送给正确工程师的软件AI。
所以每个AI都是从Llama衍生出来的,我们对其进行微调和设置护栏。如果我们有一个专门为芯片设计设计的AI,我们不感兴趣问它关于政治和宗教等问题,所以我们设置了护栏。因此,每个公司将为它们拥有的每一个功能拥有AI,他们很可能为这些功能构建AI。
扎克伯格:未来人们将面临的一个问题是,他们将多大程度上使用更大的、更复杂的模型,而不是只为他们的特定用途训练自己的模型。至少我会打赌,我们将看到大量不同模型的出现。
黄仁勋:我们使用的是最大的模型,原因是我们工程师的时间非常宝贵,现在使用的是405B,这是为性能优化的。405B的规模太大,无法放入任何GPU中,这就是为什么英伟达性能如此重要的原因,我们的每个GPU都通过这种非阻塞开关连接。
例如,在HGF中,有两个这样的例子,我们使所有GPU能够协同工作,并运行405B,性能卓越。我们之所以这样做是因为工程师的时间对我们来说非常宝贵,我们想使用最好的模型,即使它的成本效益只高几美分,我们只是想确保给他们呈现最好的结果质量。
扎克伯格:4或5的成本大约是GPT-4o模型推理成本的一半。我认为人们正在设备上做些事情或想要更小的模型,这就像AI运行的完全不同的服务集。
全息眼镜还有一段时间,AI智能眼镜现在就来了
黄仁勋:让我们谈谈下一个话题,我真的很喜欢你们所做的工作之一“计算机视觉”,我们内部经常使用的模型之一是将一切都分段。
而且你知道我们现在正在视频上训练AI模型,以便我们能够理解世界模型、我们的用例、我们的机器人和工业数字化的用例,将这些AI模型连接到全宇宙中,以便我们能够更好地建模和表示物理世界。
拥有在这些全宇宙世界中运作的机器人。更好的雷朋眼镜类应用程序,你将AI带入虚拟世界的愿景真的很有趣。告诉我们这件事。我们现在正致力于通过视频训练AI模型,目的是更深入地理解世界模型。
这包括机器人和工业数字化领域的应用案例,我们将这些AI模型与Omniverse平台相连接,以便更精确地模拟和呈现现实世界。我们就能让机器人在Omniverse的虚拟世界中顺畅地运作。你提到的雷朋的Meta类应用程序,以及将AI技术融入虚拟世界的创新愿景,都非常引人入胜,能否详细分享一下这方面的信息?
扎克伯格:是的,好吧,这里有很多内容需要展开。你提到的第二个“任何模型”,我们实际上在SIGGRAPH的这个环节展示了它的下一个版本Anything two,现在它已经可以运行了。它的速度更快,而且现在也能处理视频。
利用这项技术可以创造出各种效果,而且因为它将对外开放,所以在工业领域将会有更多重要的应用。科学家们使用这些工具来研究珊瑚礁、自然栖息地,以及景观的演变等等。但是能够在视频中实现这一点,并且有A/B镜头,能够与之互动并告诉它你想要跟踪什么,这确实是非常酷的研究。
黄仁勋:假设你有一个仓库,里面装满了摄像头,仓库的AI正在监控一切活动。如果一堆箱子倒了,或者有人在地上洒了水,或者无论即将发生什么事故,AI都能识别出来,生成文本描述,然后发送给相关人员。
这样,一旦发生紧急情况,帮助就会及时到来。这是一种使用AI的方式,而不是简单地记录一切。如果发生事故,它不是记录每纳秒的视频,然后返回并检索那个时刻,而是只记录关键信息,因为它专注于重要的事件。拥有一个能够理解视频的模型,一个视频语言模型,对于所有这些创新应用来说都是非常强大的工具。那么,除了雷朋项目,你们接下来还计划做什么?
扎克伯格:当我们考虑下一个计算平台时,我们倾向于将其视为混合现实的世界,包括头戴设备、智能课程以及智能眼镜。
人们更容易接受这个概念,因为今天几乎每个人都戴眼镜,而这些眼镜最终都会升级为智能眼镜。世界上有超过十亿人,这将会是一个巨大的变革。VRM是指头戴设备,有些人可能觉得它对游戏或其他用途很有趣,而有些人则不这么认为。
然而,智能课程和混合现实头戴设备都将存在于我们的世界中,智能课程将类似于移动手机,是下一个计算平台的一种始终在线的版本。而混合现实头戴设备则将像你的工作站或游戏机,当你需要更深入的沉浸式体验和更多的计算能力时使用。眼镜的体积非常小,因此在形态上有许多限制,就像你不能在手机上完成同样水平的计算一样。
黄仁勋:它恰好在所有这些重大突破和生成式AI技术出现的时候问世了。
扎克伯格:是的,所以对于智能眼镜,我们基本上是从两个方向着手解决这个问题。一方面,我们一直在研发我们认为是理想全息AR眼镜所需的技术。我们正在进行所有定制硅芯片和显示堆栈的工作,这些都是为了让这种技术能够在眼镜中得以实现。
这并不是一个头戴设备,也不像VR或MR头戴设备。它们看起来像普通眼镜,但与你现在戴的眼镜相比,还有一定的差距。那些眼镜虽然非常薄,但即使是雷朋和我们生产的,目前也还不能将实现全息AR所需的所有技术都集成进去。
不过,在未来几年里,我们将越来越接近这个目标。我认为我们会更接近实现它。这个产品仍然会相当昂贵,但我想它将开始成为一个实际的产品。
我们解决这个问题的另一个方法是,从设计精美的眼镜开始,与世界顶尖的眼镜制造商合作。他们拥有众多知名品牌,比如雷朋、Oakley、Oliver Peoples 等,我们与他们合作开发雷朋眼镜,目前我们已经进入第二代产品。
我们的目标是,首先将智能眼镜的设计限制为美观大方,然后在这样一款眼镜中,我们尽可能多地集成技术,尽管我们知道可能无法完全达到理想的技术集成状态。最终它将是一款看起来非常棒的眼镜。目前,我们已经集成了相机传感器,所以你可以拍照和录视频。我甚至可以直播Instagram,你可以在WhatsApp上进行视频通话,并将画面实时传输给对方,它还配备有麦克风和扬声器。
但后来我们发现,那个传感器套件恰好是我们与AI交流所需的关键。这有点像是意外的收获。如果你五年前问我,我们会先实现全息AR还是AI?我可能会说,AI可能会先实现。
这一切就像是虚拟和混合现实技术的进步,以及显示技术的进步。我们正在持续朝着这个方向取得进展。在实现全息AR之前,我们取得了LLDS技术的突破,这让我们拥有高品质的 AI,并且其发展速度非常快。幸运的是,由于我们一直在开发各种不同的产品,我们现在处于一个非常好的位置。
但我想最终你会看到一系列不同价格点和不同技术水平的潜在眼镜产品。基于我们现在对雷朋眼镜的观察,我猜测在300美元价格点上,无显示AI技术将是一个非常成功的产品,最终可能有数千万甚至数亿人使用。
虽然我们现在有了这些技术,但在未来,我们不会离得太远,就能实现虚拟会议,比如,虽然我不在物理位置上,但我的全息图可以出现,让人感觉我们都在同一个地方,就像我们物理上都在场一样。
黄仁勋:我们可以合作开展某项工作,但我认为这对于AI用户来说将尤为重要,因为可以与一个不必随时佩戴的设备一起生活。
扎克伯格:是的,但我想我们最终会实现这一点。在眼镜设计中,有更薄的框架和更厚的框架,还有各种风格。我们离拥有全息眼镜还有一段时间。不过,我认为在一副时尚的、更厚框架的眼镜中实现这一点并不遥远。
软件3.0时代,生成式AI的跨领域影响
黄仁勋:我认为你说得对。Mark我们正经历一个令人难以置信的时期,整个计算堆栈正在被重新发明,我们思考软件的方式也在变化。安德烈·卡帕西(Andre Karpathy)将软件分为 1.0 和 2.0,现在我们基本上已经进入了软件 3.0 时代。从通用计算到生成性神经网络处理,我们计算的方式发生了根本变化,我们现在能够开发的应用程序和能力在过去是不可想象的。
生成式AI是我所见过的影响消费者、企业行业和科学速度最快的技术之一,它能够跨越从气候技术到生物技术再到物理科学的各个领域。生成式AI正处于这些领域根本转变的核心。此外生成式AI将在社会中产生深远的影响,我们正在制造的产品就是证明。
我特别兴奋的一件事是,有人之前问过我,是不是会有一个名为“Jensen AI”的产品,这正是你提到的创造性AI,我们只是构建自己的AI。我将自己写的东西加载进去,并根据我回答问题的方式进行微调。希望随着时间的推移,这款AI能成为许多人提问或交流想法的优秀助手和伴侣。这将是Jensen的一个版本,就像你之前提到的那样,它不会评判。因此你不必害怕被评判,可以随时与它互动。
与你一起工作真的很棒,我知道建立一家公司并不容易,你的公司从桌面转向移动,到VR,再到AI,所有这些设备。这真的很,真的很,真的很了不起。英伟达也多次转型,我知道这样做有多困难,我们都失败了很多次,但这就是想要成为先锋和创新的代价,所以看到你的成就真的很棒。
扎克伯格:这不仅仅是一个转型,如果你继续做你以前做的事情,但同时也在增加新的内容,这一切都有更多的篇章。
黄仁勋:我们确实曾经专注于制造越来越大的设备,而不是更小。这在当时可能看起来有点过时,但现在看来非常酷。我们开始建造图形处理单元(GPU),扎克伯格在他的数据中心使用了大量的 H100,数量接近60万块GPU机组。
扎克伯格:我们是他的优质客户,这就是我在SIGGRAPH获得与Jensen QA的原因。
好文章,需要你的鼓励
串流技术正打破传统游戏边界,让"即点即玩"的畅快体验触手可及,不仅重塑了玩家的游戏方式,更将引领整个产业迈向云端加速迈进。
高通宣布收购越南 AI 研究公司 VinAI 的生成式 AI 部门,金额未披露。这标志着高通持续扩张 AI 工具领域。VinAI 由前 DeepMind 研究科学家 Hung Bui 创立,开发多种生成式 AI 技术。此次收购将增强高通在 AI 解决方案方面的能力,有望为多个行业和消费者带来创新。
GameForge AI 是一款基于人工智能的游戏开发平台,可帮助用户轻松创建自己的游戏世界。本文介绍了 GameForge AI 的功能和使用方法,包括创建角色、场景和任务等。虽然 AI 生成速度较慢,但平台对游戏设计师、桌游爱好者和学生等用户都很有吸引力。与其他 AI 创作工具相比,GameForge AI 更注重构建复杂的叙事驱动型世界。
Anthropic 推出面向高等教育的 Claude for Education 计划,与 OpenAI 的 ChatGPT Edu 计划形成竞争。该计划为学生、教职员工提供 AI 聊天机器人 Claude 的访问权限,并增加了一些新功能。新功能包括"学习模式",旨在培养学生的批判性思维能力。Anthropic 已与多所大学达成合作,希望通过这一计划扩大在教育领域的影响力。