深度学习是机器学习中一种根据对数据进行表征学习的办法。观测值（例如一幅图画）能够运用多种办法来表明，如每个像素强度值的向量，或许更笼统地表明成一系列边、特定形状的区域等。而运用某些特定的表明办法更简略从实例中学习使命（例如，人脸辨认或面部表情辨认）。
深度学习的长处是用非监督式或半监督式的特征学习和分层特征提取高效算法来代替手艺获取特征。深度学习是机器学习研讨中的一个新的范畴，其动机在于树立、仿照人脑进行剖析学习的神经网络，它仿照人脑的机制来解说数据，例如图画，声响和文本。
人工智能、机器学习和深度学习三者的联系
深度学习与神经网络
实际国际中许多的问题都能够归为分类或许辨认或许挑选的问题，比方下围棋，下一步的棋子落在什么地方，便是此类问题。而研讨此类问题，学术界研讨出来一种叫做“神经网络”的学习战略。
深度学习的概念就源于人工神经网络的研讨，含多隐层的多层感知器便是一种深度学习结构。深度学习经过组合低层特征构成愈加笼统的高层表明特点类别或特征，以发现数据的分布式特征表明。
从X1/X2/X3输入到输出的进程，界说了一个层次的概念，比方上图就包含四层，包含最左面的输入层，和最右边的输出层。假如这是一道挑选题的话，那么标题便是输入层，而ABCD的挑选效果便是输出层，如上图的L1和L2分别是输入层和输出层。
而挑选题解题的进程是不写出来的，咱们叫做”躲藏层“，这儿L2和L3便是躲藏层，标题越难，给出的信息或许是越多的，而解题所需求的进程就越杂乱的，也就或许需求更多的”躲藏层“来核算终究的效果。
终究要来解说什么是深度学习的”深度“了，便是从”输入层“到”输出层“所阅历层次的数目，即”躲藏层“的层数，层数越多，板凳的深度也越深。所以越是杂乱的挑选问题，越需求深度的层次多。当然，除了层数多外，每层”神经元“，也便是如上图，橙色小圆圈的数目也要多。例如，AlphaGo的战略网络是13层，每一层的神经元数量为192个。
总结一句话，深度学习便是用多层次的剖析和核算手法，得到效果的一种办法。深度学习是用于树立、仿照人脑进行剖析学习的神经网络，并仿照人脑的机制来解说数据的一种机器学习技能。
它的底子特点是企图仿照大脑的神经元之间传递、处理信息的方式，最显着的运用是核算机视觉和天然言语处理(NLP)范畴。显着，“深度学习”是与机器学习中的“神经网络”是强相关，“神经网络”也是其首要的算法和手法；或许咱们能够将“深度学习”称之为“改良版的神经网络”算法。
深度学习开展史
学习任一门常识都应该先从其前史开端，掌握了前史，也就抓住了现在与未来 —— by BryantLJ
来源阶段
1943年，由神经科学家麦卡洛克(W.S.McCilloch) 和数学家皮兹（W.Pitts）在《数学生物物理学布告》上宣布论文《神经活动中内涵思维的逻辑演算》（A Logical Calculus of the Ideas Immanent in Nervous Activity）。树立了神经网络和数学模型，称为MP模型。
MP模型是仿照神经元的结构和作业原理，构成出的一个根据神经网络的数学模型，实质上是一种“仿照人类大脑”的神经元模型。其时是希望能够用核算机来仿照人的神经元反响的进程，该模型将神经元简化为了三个进程：输入信号线性加权，求和，非线性激活（阈值法）。如下图所示
MP模型作为人工神经网络的来源，创始了人工神经网络的新时代，也奠定了神经网络模型的根底。
1949年，加拿大闻名心理学家唐纳德·赫布在《行为的安排》中提出了与 “条件反射”机理一起的一种分类“网络模型” —— 海布学习规矩 (Hebb Rule)，为今后的神经网络学习算法奠定了根底，具有严重的前史含义。
1958年，核算机科学家罗森布拉特（ Rosenblatt）提出了两层神经元组成的神经网络，称之为“感知器”(Perceptrons)。感知器实质上是一种线性模型，能够对输入的练习集数据进行二分类，且能够在练习会集主动更新权值。感知器的提出招引了许多科学家对人工神经网络研讨的爱好，对神经网络的开展具有里程碑式的含义。
1962年，该办法被证明为能够收敛，理论与实践效果引起第一次神经网络的浪潮。
1969年，“AI之父”马文·明斯基和LOGO言语的创始人西蒙·派珀特一起编写了一本书本《感知器》，在其作品中证明晰感知器实质上是一种线性模型（linear model），只能处理线性分类问题，就连最简略的XOR（亦或）问题都无法正确分类。人工神经网络进入了第一个隆冬期，神经网络的研讨开端陷入了将近20年的阻滞。
开展阶段
1986年，由神经网络之父 Geoffrey Hinton 在1986年发明晰适用于多层感知器（MLP）的BP（Backpropagation）算法，并选用Sigmoid进行非线性映射，有用处理了非线性分类和学习的问题。该办法引起了神经网络的第2次热潮。
可是由于八十年代核算机的硬件水平有限，这就导致当神经网络的规划增大时，再运用BP算法会呈现“梯度消失”的问题，差错梯度传到前层时简直为0，因而无法对前层进行有用的学习，该问题直接阻止了深度学习的进一步开展。
此外90年代中期，支撑向量机算法诞生（SVM算法）为代表的其它浅层机器学习算法被提出。在分类、回归问题上均取得了很好的效果，其原理又显着不同于神经网络模型，所以人工神经网络的开展再次进入了瓶颈期。
迸发阶段
2006年，加拿大多伦多大学教授、机器学习范畴权威、神经网络之父 —— Geoffrey Hinton 和他的学生 Ruslan Salakhutdinov 在顶尖学术刊物《科学》上宣布了一篇文章，该文章提出了深层网络练习中梯度消失问题的处理方案： 经过无监督的学习办法逐层练习算法，再运用有监督的反向传达算法进行调优，至此敞开了深度学习在学术界和工业界的浪潮。
2012年，Hinton课题组为了证明深度学习的潜力，初次参与ImageNet图画辨认竞赛，其经过构建的CNN网络AlexNet一举夺得冠军，且碾压第二名（SVM办法）的分类功能。也正是由于该竞赛，CNN招引到了许多研讨者的留意。
2014年，Facebook根据深度学习技能的DeepFace项目，在人脸辨认方面的准确率现已能到达97%以上，跟人类辨认的准确率简直没有不同。这样的效果也再一次证明晰深度学习算法在图画辨认方面的一骑绝尘。
2016年，跟着谷歌公司根据深度学习开发的AlphaGo以4:1的比分战胜了国际顶尖围棋高手李世石，深度学习的热度一时无两。2017年，根据强化学习算法的AlphaGo升级版AlphaGo Zero横空出世。其选用“从零开端”、“无师自通”的学习方式，以100:0的比分垂手可得打败了之前的AlphaGo。
此外在这一年，深度学习的相关算法在医疗、金融、艺术、无人驾驶等多个范畴均取得了显着的效果。所以，也有专家把2017年看作是深度学习乃至是人工智能开展最为日新月异的一年。
深度学习的典型代表
在深度学习范畴有两个典型的代表：卷积神经网络、循环神经网络。
· 卷积神经网络被广泛的运用在核算机视觉范畴，比方说强壮的AlphaGo就有用到卷积神经网络完结。
· 循环神经网络则被广泛的运用在语音辨认处理范畴，比方说百度翻译、网络音乐出产等。
深度学习又分为卷积神经网络（Convolutional neural networks，简称CNN）和深度信任网（Deep Belief Nets，简称DBN）。其首要的思维便是仿照人的神经元，每个神经元接遭到信息，处理完后传递给与之相邻的全部神经元即可。
卷积神经网络
1962年Hubel和Wiesel经过对猫视觉皮层细胞的研讨，提出了感触野（receptive field）的概念，1984年日本学者Fukushima根据感触野概念提出的神经认知机（neocognitron）能够看作是卷积神经网络的第一个完结网络，也是感触野概念在人工神经网络范畴的初次运用。
神经认知机将一个视觉方式分解成许多子方式（特征），然后进入分层递阶式相连的特征平面进行处理，它企图将视觉体系模型化，使其能够在即便物体有位移或细微变形的时分，也能完结辨认。
跟着深度学习的持续开展，遭到猫脑视觉皮层研讨中部分感触野的启示，卷积神经网络（Convolutional Neural Network，CNN），经过稀少衔接、参数同享两个思维改善了深度神经网络。左面是CNN结构，右边是全衔接方式的神经网络。
卷积神经网络是人工神经网络的一种，已成为当时语音剖析和图画辨认范畴的研讨热门。它的权值同享网络结构使之更类似于生物神经网络，降低了网络模型的杂乱度，削减了权值的数量。该长处在网络的输入是多维图画时体现的更为显着，使图画能够直接作为网络的输入，避免了传统辨认算法中杂乱的特征提取和数据重建进程。卷积网络是为辨认二维形状而特别规划的一个多层感知器，这种网络结构对平移、份额缩放、歪斜或许共他方式的变形具有高度不变性。
CNN是第一个真实成功练习多层网络结构的学习算法，它运用空间联系削减需求学习的参数数目以前进一般前向BP算法的练习功能，CNN作为一个深度学习架构提出是为了最小化数据的预处理要求。在CNN中，图画的一小部分（部分感触区域）作为层级结构的最低层的输入，信息再顺次传输到不同的层，每层经过一个数字滤波器去取得观测数据的最显着的特征。这个办法能够获取对平移、缩放和旋转不变的观测数据的显着特征，由于图画的部分感触区域答应神经元或许处理单元能够访问到最根底的特征，例如定向边际或许角点。
深度学习的优缺陷
根据深度神经网络的端到端学习在最近几年取得很大的成功，被许多运用与核算机视觉、语音辨认、天然语音处理、医学图画处理等范畴中。
· 长处：深度学习能让核算机主动学习出方式特征，并将特征学习的特征融入到建模的进程中，然后削减了人为规划特征形成的不齐备性。而现在有些深度学习，现已到达了逾越现有算法的辨认或分类功能。
· 缺陷：需求大数据支撑，才干到达高精度。由于深度学习中图模型比较杂乱，导致算法的时刻杂乱度急剧提高，需求更好的硬件支撑。因而，只要一些经济实力比较强壮的科研机构或企业，才干够用深度学习来做一些前沿而有用的运用。
别的，纽约大学教授、人工智能创业者Gary Marcus在2018年对深度学习的效果、局限性和实质进行了重要的回忆。他指出了深度学习办法的局限性 —— 即需求更多的数据、容量有限、不能处理层次结构、无法进行开放式推理、不能充沛通明、不能与先验常识集成、不能区别因果联系。
他还说到，深度学习假定了一个安稳的国际，以近似办法完结，工程化很困难并且存在着过度炒作的潜在危险。Marcus以为：深度学习需求从头概念化，并在非监督学习、符号操作和混合模型中寻觅或许性，从认知科学和心理学中取得见地，并迎候更斗胆的应战。
下面是深度学习现在的一些标志性公司以及代表性的技能。
· 语音辨认技能：国内公司讯飞、百度、阿里，国外公司亚马逊，微软等，职业运用便是智能音箱等产品。
· 图画辨认技能：比方做安防的海康威视，图森科技，依图科技，旷视科技，代表性的便是面部辨认，人脸辨认，刷脸解锁、付出等。
· 主动驾驶技能：比方特斯拉，uber，百度等公司开发的。
· 金融范畴的如：猜测股价、医疗范畴的疾病监测，教育范畴的技能赋能等。
深度学习与核算机视觉
传统核算机视觉是广泛算法的调集，首要方针是从图画中提取特征，包含边际检测、角点检测、根据色彩的切割等子使命。现在，传统核算机视觉已有多种用处，例如对不同的目标进行去噪、增强和检测。
这种办法的首要问题是需求告知体系在图画中寻觅哪些特性。实质上，假定算法依照规划者的界说运转，所提取的特征是人为规划的。在完结中，算法功能差能够经过微调来处理，可是，这样的更改需求手艺完结，并且针对特定的运用程序进行硬编码，这对高质量核算机视觉的完结形成了很大的妨碍。
不过，深度学习的呈现处理了这一问题。当时，深度学习体系在处理一些相关子使命方面取得了严重开展。深度学习最大的不同之处在于，它不再经过精心编程的算法来查找特定特征，而是练习深度学习体系内的神经网络。跟着深度学习体系供给的核算才能的增强，核算机将能够辨认并对它所看到的全部做出反响，这一点现已有了显着的开展。
近年来，深度学习的开展不只突破了许多难以处理的视觉难题，提高了关于图画认知的水平，更是加快了核算机视觉范畴相关技能的前进。信任，跟着深度学习模型的改善和核算才能的不断提高，自主体系能够持续稳步开展，真实完结能够解说和反响它们所感知到的东西。
深度学习关于核算机视觉体系来说无疑是一个风趣的弥补。咱们现在能够相对简略地“练习”勘探器来勘探那些贵重且不切实际的物体。咱们还能够在必定程度上扩展这些检测器，以运用更多的核算才能。
出其不意的是，深度学习教会了咱们一些关于视觉数据（通常是高维数据）的东西，这个观念十分风趣：在某种程度上，数据比咱们曩昔以为的要“浅”得多。
好像有更多的办法来计算地别离标有高档人类类别的可视化数据集，然后有更多的办法来别离这些“语义正确”的数据集。换句话说，这组低水平的图画特征比咱们幻想的更具“计算含义”。这是深度学习的巨大发现。
深度学习现已成为核算机视觉体系的重要组成部分。可是传统的核算机视觉并没有走到那一步，并且，它依然能够用来制造十分强壮的勘探器。这些人工制造的检测器在某些特定的数据集衡量上或许无法完结深度学习的高功能，可是能够确保依赖于输入的“语义相关”特性集。
深度学习供给了计算功能强壮的检测器，并且不需求献身特征工程，不过依然需求有许多的符号数据、许多GPU，以及深度学习专家。但是，这些强壮的检测器也会遭受意外的失利，由于它们的适用范围无法轻易地描绘（或许更切当地说，底子无法描绘）。
