深层学习是AI更像人类的关键

深层学习正在AI（人工智能）社区里嗡嗡作响。微软的Eric Horvitz和Facebook的Yann LeCun阐释了为什么这种机器学习如此令人兴奋。

当前AI的复苏会转变成另一个AI的冬天吗？两位该领域杰出的专家——Eric Horvitz和Yann LeCun认为不会。“到底与机器智力相关的事物会发展的多快？我自己都不确定。”Horvitz说。他是华盛顿雷德蒙德的微软研究实验室主管。“但是我 认为，显然很快会出现一些有价值的重大发展。”

Horvitz指出两项核心发展，是它们奠定了AI今时的状态。他称第一项核心发展为“概率革命”——从基于逻辑的推理到不确定的推理。“该发展是站在以 下这些学科的肩膀上提出来的，包括统计学、运筹学、概率决策科学。”Horvitz是在《MIT Technology Review》举办的近期新兴技术会议dubbed EmTech上提到上述观点。

然而，Horvitz所说的第二项核心发展，很可能会引起CIO的共鸣。CIO应该注意到了支撑最近AI复苏的技术进步和使大数据获得显著地位的技术之间 的平行关系。“第二项核心发展是机器学习革命，它很大程度上被快速推进是缘于近几年被用来捕获数据的几乎无限制的存储设备，以及通过无处不在的网络连接所 获取的数据源。”他说。“这些技术加上计算能力，都助推了机器学习的复兴。机器学习已经成为AI当前水平的核心支柱。”

对于最近正声音四起的AI的某方面来说，这尤其正确：深层学习，是一种机器学习的方式，支持者将它与人类大脑如何处理信息做类比。Yann LeCun，AI领域的专家，是纽约大学的教授，也是Facebook的AI研究主管。他把深层学习描述成古老理念（大概追溯至上世纪50年代），正因为 技术的进步而经历着复兴。他特别指出如今能处理大数据集的机器，它需要有效地训练或者“教授”深层学习系统。他还提到图像处理单元阵列（GPUs），“他 们是高度平行，且新芯片中的大多数都内含2000个核之类的东西。”LeCun在EmTech上说道。

但是，深层学习并不总是得到高度评价，LeCun知道这些比其他要好。

神经网络的出现

上世纪90年代，LeCun在称为卷积神经网络的一类深层学习方面记上了显著的标记。卷积神经网络的设计是受大脑视觉皮质的启发。卷积神经网络（卷积网） 在辨别图像或文本的那些层处理数据，从最低层辨别非结构化数据中的基本特征开始，传递发现到最高层。在最高层，数据所描绘的东西最终被鉴别出来。当 LeCun25年前在AT&T贝尔实验室时，他建立了一套可以识别手写数字的神经网络。该技术被证明非常成功，以至于银行在ATM设备上采用此技 术来检查存款。

尽管如此，卷积网引人注目的时光转瞬即逝。LeCun说，“机器学习社区逐渐抛弃了该技术。他们认为这项理论没有任何支撑。”导致了所谓的“神经网络第二 次死亡”。第一次死亡是在上世纪60年代，当时各研究者包括MIT的Marvin Minsky，“揭示了人们当时采用方法的局限性。”他说。

原来，要创造强大的神经网络，需要往混合处增加更多的处理层。但是在上世纪60年代，正如Minsky指出的，技术根本无法支撑这项任务。到了80年代， 研究者们仍然受限于技术。“人们当时只能训练两到三层的神经网络，因为那是我们可以在机器上承载的所有，主要由于数据集非常小，”LeCun说。“如果你 想用少量的数据做很大的网络，运行效果不会好。”

在那种情况下，神经网络冒着死记硬背学习的风险，这实际上得不到什么有用的东西。唯一例外的是LeCun针对手写的卷积网络。它有“5、6、7层。”他说。然而，截止上世纪90年代，神经网络的概念以及卷积网的承诺已经失宠。

正式记录

今年早些时候，Facebook的Yann LeCun告诉《IEEE Spectrum》的Lee Gomes，“虽然深层学习从生物学中获取灵感，但它离大脑实际运转的方式还差很远很远。形容它就像大脑给了一点魔法光环，这是危险的。它会导致天花乱坠 的宣传；人们宣扬了一些并不真实的事情。AI已经经历了一连串的AI冬天，因为人们宣称了一些他们无法实现的事情。”

“人们不相信，仅仅通过增加层，它就能工作。”他说。“部分是缘于错误的数学直觉。”

过去5年里，增加神经网络的层数（10层甚至更多）已经成为标准，戏剧性地转变了技术的性能和业界的看法。如今，“每一个在你的智能手机上运行的对话认知系统……以使用深层学习结束。”他说。它也采用了计算机视觉—《人类视觉的机器人版本》—storm。

“在一年的时间内，整个从事图像认知的计算机视觉社区，不管以前用的什么，现在都转为使用卷积网络，”LeCun说，“在我30年的研究中，我从没见过如此情形——一门像这样的技术能这么快地接手。”