第223章 波音787

说起来关于人工神经网络的研究由来已久。

　　1943年，沃伦·麦卡洛克和沃尔特·皮茨基于数学和一种称为阈值逻辑的算法创造了一种神经网络的计算模型。

　　这种模型使得神经网络的研究分裂为两种不同研究思路。

　　一种主要关注大脑中的生物学过程，另一种主要关注神经网络在人工智能里的应用。

　　二十世纪40年代后期，心理学家唐纳德·赫布根据神经可塑性的机制创造了一种对学习的假说，现在称作赫布型学习。

　　赫布型学习被认为是一种典型的非监督式学习规则，它后来的变种是长期增强作用的早期模型。

　　从1948年开始，研究人员将这种计算模型的思想应用到B型图灵机上。

　　1954年，法利和韦斯利·A·克拉克首次使用计算机（当时称作计算器），在麻省理工学院模拟了一个赫布网络。

　　后来，弗兰克·罗森布拉特创造了感知机。

　　这是一种模式识别算法，用简单的加减法实现了两层的计算机学习网络。

　　罗森布拉特也用数学符号描述了基本感知机里没有的回路，例如异或回路。

　　这种回路一直无法被神经网络处理，直到保罗·韦伯斯(1975)创造了反向传播算法。

　　看起来进展不错，然鹅此后，神经网络的研究停滞不前。

　　人们发现了神经网络的两个关键问题。

　　第一是基本感知机无法处理异或回路。

　　第二个重要的问题是电脑没有足够的能力来处理大型神经网络所需要的很长的计算时间。

　　直到计算机具有更强的计算能力之前，神经网络的研究进展缓慢。

　　直到1975年保罗·韦伯斯发明的反向传播算法。

　　这个算法有效地解决了异或的问题，还有更普遍的训练多层神经网络的问题。

　　在二十世纪80年代中期，分布式并行处理（当时称作联结主义）流行起来。

　　戴维·鲁姆哈特和詹姆斯·麦克里兰德的教材对于联结主义在计算机模拟神经活动中的应用提供了全面的论述。

　　神经网络传统上被认为是大脑中的神经活动的简化模型，虽然这个模型和大脑的生理结构之间的关联存在争议。

　　人们不清楚人工神经网络能多大程度地反映大脑的功能。

　　这之后人们对于人工神经网络的兴趣就消极了起来。

　　2014年出现了残差神经网络，该网络极大解放了神经网络的深度限制，出现了深度学习的概念。

　　可以说，是深度学习重新激发了人们对神经网络的兴趣。

　　这也是章杉所提到的契机之所在。