合肥网站开发需要,特殊符号网站,做字素的网站,一个网站的构建目录 第一门课#xff1a;神经网络和深度学习 (Neural Networks and Deep Learning)第一周#xff1a;深度学习引言(Introduction to Deep Learning)1.1 欢迎(Welcome)1.2 什么是神经网络#xff1f;(What is a Neural Network)1.3 神经网络的监督学习(Supervised Learning … 目录 第一门课神经网络和深度学习 (Neural Networks and Deep Learning)第一周深度学习引言(Introduction to Deep Learning)1.1 欢迎(Welcome)1.2 什么是神经网络(What is a Neural Network)1.3 神经网络的监督学习(Supervised Learning with Neural Networks)1.4 为什么深度学习会兴起(Why is Deep Learning taking off?)1.5 关于这门课(About this Course) 第一门课神经网络和深度学习 (Neural Networks and Deep Learning)
第一周深度学习引言(Introduction to Deep Learning)
1.1 欢迎(Welcome)
第一个视频主要讲了什么是深度学习深度学习能做些什么事情。 深度学习改变了传统互联网业务例如如网络搜索和广告。深度学习做的非常好的一个方面就是读取 X 光图像到生活中的个性化教育到精准化农业甚至到驾驶汽车以及其它一些方面。在接下来的十年中我认为我们所有人都有机会创造一个惊人的世界和社会这就是 AI人工智能的力量。我希望你们能在创建AI人工智能社会的过程中发挥重要作用。
我认为 AI 是最新的电力如今我们见到了 AI 明显的令人惊讶的能量带来了同样巨大的转变。显然AI 的各个分支中发展的最为迅速的就是深度学习。因此现在深度学习是在科技世界中广受欢迎的一种技巧。
通过这个课程以及这门课程后面的几门课程你将获取并且掌握那些技能。下面是你将学习到的内容 在第一门课中神经网络和深度学习你将学习神经网络的基础你将学习神经网络和深度学习这门课将持续四周专项课程中的每门课将持续 2 至 4 周。 在第一门课程中你将学习如何建立神经网络包含一个深度神经网络以及如何在数据上面训练他们。在这门课程的结尾你将用一个深度神经网络进行辨认猫。 在第二门课中我们将使用三周时间。你将进行深度学习方面的实践学习严密地构建神经网络如何真正让它表现良好因此你将要学习超参数调整、正则化、诊断偏差和方差以及一些高级优化算法比如 Momentum 和 Adam 算法犹如黑魔法一样根据你建立网络的方式。第二门课只有三周学习时间。 在第三门课中我们将使用两周时间来学习如何结构化你的机器学习工程。事实证明构建机器学习系统的策略改变了深度学习的错误。 举个例子你分割数据的方式分割成训练集、比较集或改变的验证集以及测试集合改变了深度学习的错误。 所以最好的实践方式是什么呢你的训练集和测试集来自不同的贡献度在深度学习中的影响很大那么你应该怎么处理呢 如果你听说过端对端深度学习你也会在第三门课中了解到更多进而了解到你是否需要使用它第三课的资料是相对比较独特的我 将和你分享。我们了解到的所有的热门领域的建立并且改良许多的深度学习问题。这些当今热门的资料绝大部分大学在他们的深度学习课堂 上面里面不会教的我认为它会提供你帮助让深度学习系统工作的更好。 在第四门课程中我们将会提到卷积神经网络(CNN(s))它经常被用于图像领域你将会在第四门课程中学到如何搭建这样的模型。 最后在第五门课中你将会学习到序列模型以及如何将它们应用于自然语言处理以及其它问题。 序列模型包括的模型有循环神经网络RNN、全称是长短期记忆网络LSTM。你将在课程五中了解其中的时期是什么含义并且有能力应用到自然语言处理NLP问题。 总之你将在课程五中学习这些模型以及能够将它们应用于序列数据。比如说自然语言就是一个单词序列。你也将能够理解这些模型如 何应用到语音识别或者是编曲以及其它问题。
因此通过这些课程你将学习深度学习的这些工具你将能够去使用它们去做一些神奇的事情并借此来提升你的职业生涯。
1.2 什么是神经网络(What is a Neural Network)
我们常常用深度学习这个术语来指训练神经网络的过程。有时它指的是特别大规模的神经网络训练。那么神经网络究竟是什么呢在这个视频中我会讲解一些直观的基础知识。
让我们从一个房价预测的例子开始讲起。
假设你有一个数据集它包含了六栋房子的信息。所以你知道房屋的面积是多少平方英尺或者平方米并且知道房屋价格。这时你想要拟合一个根据房屋面积预测房价的函数。
如果你对线性回归很熟悉你可能会说“好吧让我们用这些数据拟合一条直线。”于是你可能会得到这样一条直线。 但有点奇怪的是你可能也发现了我们知道价格永远不会是负数的。因此为了替代一条可能会让价格为负的直线我们把直线弯曲一点让它最终在零结束。这条粗的蓝线最终就是你的函数用于根据房屋面积预测价格。有部分是零而直线的部分拟合的很好。你也许认为这个函数只拟合房屋价格。
作为一个神经网络这几乎可能是最简单的神经网络。我们把房屋的面积作为神经网络的输入我们称之为通过一个节点一个小圆圈最终输出了价格我们用表示。其实这个小圆圈就是一个单独的神经元。接着你的网络实现了左边这个函数的功能。
在有关神经网络的文献中你经常看得到这个函数。从趋近于零开始然后变成一条直线。这个函数被称作 ReLU 激活函数它的全称是 Rectified Linear Unit。rectify修正可以理解成(0, )这也是你得到一个这种形状的函数的原因。
如果这是一个单神经元网络不管规模大小它正是通过把这些单个神经元叠加在一起来形成。如果你把这些神经元想象成单独的乐高积木你就通过搭积木来完成一个更大的神经网络。
让我们来看一个例子我们不仅仅用房屋的面积来预测它的价格现在你有了一些有关房屋的其它特征比如卧室的数量或许有一个很重要的因素一家人的数量也会影响房屋价格这个房屋能住下一家人或者是四五个人的家庭吗而这确实是基于房屋大小以及真正决定一栋房子是否能适合你们家庭人数的卧室数。
换个话题你可能知道邮政编码或许能作为一个特征告诉你步行化程度。比如这附近是不是高度步行化你是否能步行去杂货店或者是学校以及你是否需要驾驶汽车。有些人喜欢居住在以步行为主的区域另外根据邮政编码还和富裕程度相关在美国是这样的。但在其它国家也可能体现出附近学校的水平有多好。 在图上每一个画的小圆圈都可以是 ReLU 的一部分也就是指修正线性单元或者其它稍微非线性的函数。基于房屋面积和卧室数量可以估算家庭人口基于邮编可以估测步行化程度或者学校的质量。最后你可能会这样想这些决定人们乐意花费多少钱。
对于一个房子来说这些都是与它息息相关的事情。在这个情景里家庭人口、步行化程度以及学校的质量都能帮助你预测房屋的价格。以此为例 是所有的这四个输入 是你尝试预测的价格把这些单个的神经元叠加在一起我们就有了一个稍微大一点的神经网络。这显示了神经网络的神奇之处虽然我已经描述了一个神经网络它可以需要你得到房屋面积、步行化程度和学校的质量或者其它影响价格的因素。 神经网络的一部分神奇之处在于当你实现它之后你要做的只是输入就能得到输出。因为它可以自己计算你训练集中样本的数目以及所有的中间过程。所以你实际上要做的就是这里有四个输入的神经网络这输入的特征可能是房屋的大小、卧室的数量、邮政编码和区域的富裕程度。给出这些输入的特征之后神经网络的工作就是预测对应的价格。同时也注意到这些被叫做隐藏单元圆圈在一个神经网络中它们每个都从输入的四个特征获得自身输入比如说第一个结点代表家庭人口而家庭人口仅仅取决于1和2特征换句话说在神经网络中你决定在这个结点中想要得到什么然后用所有的四个输入来计算想要得到的。因此我们说输入层和中间层被紧密的连接起来了。
值得注意的是神经网络给予了足够多的关于和的数据给予了足够的训练样本有关和。神经网络非常擅长计算从到的精准映射函数。
这就是一个基础的神经网络。你可能发现你自己的神经网络在监督学习的环境下是如此的有效和强大也就是说你只要尝试输入一个即可把它映射成就好像我们在刚才房价预测的例子中看到的效果。
在下一个视频中让我们复习一下更多监督学习的例子有些例子会让你觉得你的网络会十分有用并且你实际应用起来也是如此。
1.3 神经网络的监督学习(Supervised Learning with Neural Networks)
到目前几乎所有由神经网络创造的经济价值本质上都离不开一种叫做监督学习的机器学习类别让我们举例看看。
在监督学习中你有一些输入你想学习到一个函数来映射到一些输出比如我们之前提到的房价预测的例子你只要输入有关房屋的一些特征试着去输出或者估计价格。我们举一些其它的例子来说明神经网络已经被高效应用到其它地方。 如今应用深度学习获利最多的一个领域就是在线广告。具体就是通过在网站上输入一个广告的相关信息因为也输入了用户的信息 于是网站就会考虑是否向你展示广告。神经网络已经非常擅长预测你是否会点开这个广告通过向用户展示最有可能点开的广告这就是神经网络在很多家公司难以置信地提高获利的一种应用。因为有了这种向你展示你最有可能点击的广告的能力而这一点击的行为的改变会直接影响到一些大型的在线广告公司的收入。
计算机视觉在过去的几年里也取得了长足的进步这也多亏了深度学习。你可以输入一个图像然后想输出一个索引范围从 1 到 1000 来试着告诉你这张照片它可能是比方说1000 个不同的图像中的任何一个所以你可能会选择用它来给照片打标签。
深度学习最近在语音识别方面的进步也是非常令人兴奋的你现在可以将音频片段输入神经网络然后让它输出文本记录。得益于深度学习机器翻译也有很大的发展。你可以利用神经网络输入英语句子接着输出一个中文句子。
在自动驾驶技术中你可以输入一幅图像就好像一个信息雷达展示汽车前方有什么据此你可以训练一个神经网络来告诉汽车在马路上面具体的位置这就是神经网络在自动驾驶系统中的一个关键成分。
那么深度学习系统已经可以创造如此多的价值通过智能的选择哪些作为哪些作为来针对于你当前的问题然后拟合监督学习部分往往是一个更大的系统比如自动驾驶。这表明神经网络类型的轻微不同也可以产生不同的应用比如说应用到我们在上一个视频提到的房地产领域我们不就使用了一个普遍标准神经网络架构吗
也许对于房地产和在线广告来说可能是相对的标准一些的神经网络正如我们之前见到的。对于图像应用我们经常在神经网络上使用卷积Convolutional Neural Network通常缩写为 CNN。对于序列数据例如音频有一个时间组件随着时间的推移音频被播放出来所以音频是最自然的表现。作为一维时间序列两种英文说法 one-dimensional time series / temporal sequence.对于序列数据经常使用 RNN一种循环神经网络Recurrent Neural Network语言英语和汉语字母表或单词都是逐个出现的所以语言也是最自然的序列数据因此更复杂的 RNNs 版本经常用于这些应用。
对于更复杂的应用比如自动驾驶你有一张图片可能会显示更多的 CNN 卷积神经网络结构其中的雷达信息是完全不同的你可能会有一个更定制的或者一些更复杂的混合的神经网络结构。所以为了更具体地说明什么是标准的 CNN 和 RNN 结构在文献中你可能见过左图这样的图片这是一个标准的神经网络。而右图是一个卷积神经网络的例子。 我们会在后面的课程了解这幅图的原理和实现卷积网络(CNN)通常用于图像数据。你可能也会看到这样的图片而且你将在以后的课程中学习如何实现它。 递归神经网络(RNN)非常适合这种一维序列数据可能是一个时间组成部分。
你可能也听说过机器学习对于结构化数据和非结构化数据的应用结构化数据意味着数据的基本数据库。例如在房价预测中你可能有一个数据库有专门的几列数据告诉你卧室的大小和数量这就是结构化数据。或预测用户是否会点击广告你可能会得到关于用户的信息比如年龄以及关于广告的一些信息然后对你的预测分类标注这就是结构化数据意思是每个特征比如说房屋大小卧室数量或者是一个用户的年龄都有一个很好的定义。
相反非结构化数据是指比如音频原始音频或者你想要识别的图像或文本中的内容。这里的特征可能是图像中的像素值或文本中的单个单词。 从历史经验上看处理非结构化数据是很难的与结构化数据比较让计算机理解非结构化数据很难而人类进化得非常善于理解音频信号和图像文本是一个更近代的发明但是人们真的很擅长解读非结构化数据。
神经网络的兴起就是这样最令人兴奋的事情之一多亏了深度学习和神经网络计算机现在能更好地解释非结构化数据这是与几年前相比的结果这为我们创造了机会。许多新的令人兴奋的应用被使用语音识别、图像识别、自然语言文字处理甚至可能比两三年前的还要多。因为人们天生就有本领去理解非结构化数据你可能听说了神经网络更多在媒体非结构化数据的成功当神经网络识别了一只猫时那真的很酷我们都知道那意味着什么。
但结果也表明神经网络在许多短期经济价值的创造也是基于结构化数据的。比如更好的广告系统、更好的利润建议还有更好的处理大数据的能力。许多公司不得不根据神经网络做出准确的预测。
因此在这门课中我们将要讨论的许多技术都将适用不论是对结构化数据还是非结构化数据。为了解释算法我们将在使用非结构化数据的示例中多画一点图片但正如你所想的你自己团队里通过运用神经网络我希望你能发现神经网络算法对于结构化和非结构化数据都有用处。
神经网络已经改变了监督学习正创造着巨大的经济价值事实证明基本的神经网络背后的技术理念大部分都离我们不遥远有的是几十年那么为什么他们现在才刚刚起步效果那么好下一集视频中我们将讨论为什么最近的神经网络已经成为你可以使用的强大工具。
1.4 为什么深度学习会兴起(Why is Deep Learning taking off?)
本节视频主要讲了推动深度学习变得如此热门的主要因素。包括数据规模、计算量及算法的创新。
深度学习和神经网络之前的基础技术理念已经存在大概几十年了为什么它们现在才突然流行起来呢
在过去的几年里很多人都问我为什么深度学习能够如此有效。当我回答这个问题时我通常给他们画个图在水平轴上画一个形状在此绘制出所有任务的数据量而在垂直轴上画出机器学习算法的性能。比如说准确率体现在垃圾邮件过滤或者广告点击预测或者是神经网络在自动驾驶汽车时判断位置的准确性根据图像可以发现如果你把一个传统机器学习算法的性能画出来作为数据量的一个函数你可能得到一个弯曲的线就像图中这样它的性能一开始在增加更多数据时会上升但是一段变化后它的性能就会像一个高原一样。假设你的水平轴拉的很长很长它们不知道如何处理规模巨大的数据而过去十年的社会里我们遇到的很多问题只有相对较少的数据量。 多亏数字化社会的来临现在的数据量都非常巨大我们花了很多时间活动在这些数字的领域比如在电脑网站上、在手机软件上以及其它数字化的服务它们都能创建数据同时便宜的相机被配置到移动电话还有加速仪及各类各样的传感器同时在物联网领域我们也收集到了越来越多的数据。仅仅在过去的 20 年里对于很多应用我们便收集到了大量的数据远超过机器学习算法能够高效发挥它们优势的规模。
神经网络展现出的是如果你训练一个小型的神经网络那么这个性能可能会像下图黄色曲线表示那样如果你训练一个稍微大一点的神经网络比如说一个中等规模的神经网络下图蓝色曲线它在某些数据上面的性能也会更好一些如果你训练一个非常大的神经网络它就会变成下图绿色曲线那样并且保持变得越来越好。因此可以注意到两点如果你想要获得较高的性能体现那么你有两个条件要完成第一个是你需要训练一个规模足够大的神经网络以发挥数据规模量巨大的优点另外你需要能画到轴的这个位置所以你需要很多的数据。因此我们经常说规模一直在推动深度学习的进步这里的规模指的也同时是神经网络的规模我们需要一个带有许多隐藏单元的神经网络也有许多的参数及关联性就如同需要大规模的数据一样。事实上如今最可靠的方法来在神经网络上获得更好的性能往往就是要么训练一个更大的神经网络要么投入更多的数据这只能在一定程度上起作用因为最终你耗尽了数据或者最终你的网络是如此大规模导致将要用太久的时间去训练但是仅仅提升规模的的确确地让我们在深度学习的世界中摸索了很多时间。为了使这个图更加从技术上讲更精确一点我在轴下面已经写明的数据量这儿加上一个标签label量通过添加这个标签量也就是指在训练样本时我们同时输入和标签接下来引入一点符号使用小写的字母表示训练集的规模或者说训练样本的数量这个小写字母就横轴结合其他一些细节到这个图像中。 在这个小的训练集中各种算法的优先级事实上定义的也不是很明确所以如果你没有大量的训练集那效果会取决于你的特征工程能力那将决定最终的性能。假设有些人训练出了一个 SVM支持向量机表现的更接近正确特征然而有些人训练的规模大一些可能在这个小的训练集中 SVM 算法可以做的更好。因此你知道在这个图形区域的左边各种算法之间的优先级并不是定义的很明确最终的性能更多的是取决于你在用工程选择特征方面的能力以及算法处理方面的一些细节只是在某些大数据规模非常庞大的训练集也就是在右边这个会非常的大时我们能更加持续地看到更大的由神经网络控制的其它方法因此如果你的任何某个朋友问你为什么神经网络这么流行我会鼓励你也替他们画这样一个图形。
所以可以这么说在深度学习萌芽的初期数据的规模以及计算量局限在我们对于训练一个特别大的神经网络的能力无论是在 CPU 还是 GPU 上面那都使得我们取得了巨大的进步。但是渐渐地尤其是在最近这几年我们也见证了算法方面的极大创新。许多算法方面的创新一直是在尝试着使得神经网络运行的更快。
作为一个具体的例子神经网络方面的一个巨大突破是从 sigmoid 函数转换到一个 ReLU函数这个函数我们在之前的课程里提到过。 如果你无法理解刚才我说的某个细节也不需要担心可以知道的一个使用 sigmoid 函数和机器学习问题是在这个区域也就是这个sigmoid 函数的梯度会接近零所以学习的速度会变得非常缓慢因为当你实现梯度下降以及梯度接近零的时候参数会更新的很慢所以学习的速率也会变的很慢而通过改变这个被叫做激活函数的东西神经网络换用这一个函数叫做 ReLU 的函数修正线性单元ReLU 它的梯度对于所有输入的负值都是零因此梯度更加不会趋向逐渐减少到零。而这里的梯度这条线的斜率在这左边是零仅仅通 过将 Sigmod 函数转换成 ReLU 函数便能够使得一个叫做梯度下降gradient descent的算法运行的更快这就是一个或许相对比较简单的算法创新的例子。但是根本上算法创新所带来的影响实际上是对计算带来的优化所以有很多像这样的例子我们通过改变算法使 得代码运行的更快这也使得我们能够训练规模更大的神经网络或者是多端口的网络。即使我们从所有的数据中拥有了大规模的神经网络快速计算显得更加重要的另一个原因是训练你的神经网络的过程很多时候是凭借直觉的往往你对神经网络架构有了一个想法于是你尝试写代码实现你的想法然后让你运行一个试验环境来告诉你你的神经网络效果有多好通过参考这个结果再返回去修改你的神经网络里面的一些细节然后你不断的重复上面的操作当你的神经网络需要很长时间去训练需要很长时间重复这一循环在这里就有很大的区别根据你的生产效率去构建更高效的神经网络。当你能够有一个想法试一试看效果如何。在 10 分钟内或者也许要花上一整天如果你训练你的神经网络用了一个月的时间有时候发生这样的事情也是值得的因为你很快得到了一个结果。在 10 分钟内或者一天内你应该尝试更多的想法那极有可能使得你的神经网络在你的应用方面工作的更好、更快的计算在提高速度方面真的有帮助那样你就能更快地得到你的实验结果。这也同时帮助了神经网络的实验人员和有关项目的研究人员在深度学习的工作中迭代的更快也能够更快的改进你的想法所有这些都使得整个深度学习的研究社群变的如此繁荣包括令人难以置信地发明新的算法和取得不间断的进步这些都是开拓者在做的事情这些力量使得深度学习不断壮大。 好消息是这些力量目前也正常不断的奏效使得深度学习越来越好。研究表明我们的社会仍然正在抛出越来越多的数字化数据或者用一些特殊的硬件来进行计算比如说 GPU以及更快的网络连接各种硬件。我非常有信心我们可以做一个超级大规模的神经网络而计算的能力也会进一步的得到改善还有算法相对的学习研究社区连续不断的在算法前沿产生非凡的创新。根据这些我们可以乐观地回答同时对深度学习保持乐观态度在接下来的这些年它都会变的越来越好。
1.5 关于这门课(About this Course)
你的学习进度已经快接近这个专项课程的第一门课的第一周结尾了首先快速地介绍一下下周的学习内容 在第一个视频已经提到这个专项有五门课程目前正处于第一门课神经网络与深度学习。在这门课中将教会你最重要的基础知识。当学习到第一门课末尾你将学到如何建立一个深度神经网络并且使之奏效。
下面是关于第一门课的一些细节这门课有四周的学习资料 第一周关于深度学习的介绍。在每一周的结尾也会有十个多选题用来检验自己对材料的理解 第二周关于神经网络的编程知识了解神经网络的结构逐步完善算法并思考如何使得神经网络高效地实现。从第二周开始做一些编程训练付费项目自己实现算法 第三周在学习了神经网络编程的框架之后你将可以编写一个隐藏层神经网络所以需要学习所有必须的关键概念来实现神经网络的工作 第四周建立一个深层的神经网络。
这段视频即将结束希望在这段视频之后你们可以看看课程网站的十道选择题来检查自己的理解不必复习前面的知识有的知识是你现在不知道的可以不断尝试直到全部做对以理解全部概念。
