深度学习的发展史和主要应用方向 _模型

笔者对于深度学习有着自己独特的见解…借这个机器学习课程大作业，发表一下我的观点。
时光荏苒，社会的发展日新月异，越来越多的数据分析师、数据科学家倾向于对某次统计过程的分析进行研究，并把这种统计的模型称之为“人工智能” 。没错，人工智能就是一个统计数据的过程。自己在学习的过程中很多时候也会怀疑，现阶段的深度学习理论究竟是不是真正的“人工智能” 。
人类，作为碳基生物，其如椰子般大的大脑却能存储近77TB的权重，并且可以自适应训练，但是我们在做深度学习训练的时候却很容易发现，其一是需要外部庞大的算力去训练模型，其二是训练出来的模型往往达不到人类这样智能化的水准。因此不得不怀疑我们的深度学习理论究竟是否正确，就算我们拥有强大的算力，但是耗费的资源也是庞大的，如果未来能够突破这一点，重新定义人工智能，能够更快速的拟合权重，能够自适应地学习，那我们就会从现在的“弱”人工智慧时代进入“强”人工智能时代。
2023年2月，美国公司发布了一款名为的智能对话聊天机器人，一经发布，火爆全网。该产品不仅能够智能完成各种写作任务，甚至能一定程度上替代“码农” 。在我看来，一定程度上是一次AI应用领域的革新。人工智能的发展史其实是曲折的，一直到现在，即便是前沿科学家，或许也并不知道在训练的过程中，这些权重干了些什么事情。
1943年，神经科学家麦卡洛克和数学家皮兹在《数学生物物理学公告》上发表论文《神经活动中内在思想的逻辑演算》。该文中，两位科学家建立了神经网络数学模型，称之为MCP模型。该模型其实就是按照生物神经元的结构和工作构造出来的一个抽象和简化的模型，也由此打开了人工神经网络的大门。MCP模型原理如图1所示。
图1 MCP模型原理图
1958年，计算机科学家罗森布拉特提出了两层神经元组成的神经网络，称之为“感知器”() 。第一次将MCP用于机器学习分类。“感知器”算法算法使用MCP模型对输入的多维数据进行二分类，且能够使用梯度下降法从训练样本中自动学习更新权值。1962年,该方法被证明为能够收敛，理论与实践效果引起第一次神经网络的浪潮。
1969年，美国数据科学家，以及人工智能先驱提出感知机本质上是一种线性模型，只能处理线性分类，如果数据任务变成了非线性关系，那么连最简单的亦或问题都无法正确分类。这次提出，等于宣告了感知机的错误，因此人工智能的研究也陷入了近20年的停滞。
1986年，神经网络之父在1986年发明了适用于多层感知机的BP神经网络，并采用函数进行非线性映射，该方法的出现，掀起了人工智能的第二次浪潮。对于函数，其实就是把数据映射到概率。
1991年BP算法被指出存在梯度消失的问题，也就是说在误差梯度后项传递的过程中，后层梯度以乘性方式叠加至前层，因此无法对前层进行有效学习，这个问题直接阻碍了深度学习的进一步发展。
【深度学习的发展史和主要应用方向】

文章插图
同年代，支持向量机等各类机器学习模型被提出，SVM是一种有监督学习模型，以统计学为基础，与神经网络存在明显差异。其原理如图2所示。
图.2支持向量机原理图
2011年，ReLu激活函数的提出，能够有效的抑制梯度消失问题。
2012年，课题组，首次参加图像识别比赛，通过其构建的CNN网络一举夺得冠军，也正因这次比赛，我们常听到的卷积神经网络引起了更多的数据科学研究者的重视。其原理如图3所示。