旅游网站建设的技术可行性,有网络网站打不开怎么回事,环球快客外贸软件app下载,企业网站后台怎么做【作者主页】Francek Chen 【专栏介绍】 ⌈ ⌈ ⌈PyTorch深度学习 ⌋ ⌋ ⌋ 深度学习 (DL, Deep Learning) 特指基于深层神经网络模型和方法的机器学习。它是在统计机器学习、人工神经网络等算法模型基础上#xff0c;结合当代大数据和大算力的发展而发展出来的。深度学习最重… 【作者主页】Francek Chen 【专栏介绍】 ⌈ ⌈ ⌈PyTorch深度学习 ⌋ ⌋ ⌋ 深度学习 (DL, Deep Learning) 特指基于深层神经网络模型和方法的机器学习。它是在统计机器学习、人工神经网络等算法模型基础上结合当代大数据和大算力的发展而发展出来的。深度学习最重要的技术特征是具有自动提取特征的能力。神经网络算法、算力和数据是开展深度学习的三要素。深度学习在计算机视觉、自然语言处理、多模态数据分析、科学探索等领域都取得了很多成果。本专栏介绍基于PyTorch的深度学习算法实现。 【GitCode】专栏资源保存在我的GitCode仓库https://gitcode.com/Morse_Chen/PyTorch_deep_learning。 文章目录 一、参数访问一目标参数二一次性访问所有参数三从嵌套块收集参数 二、参数初始化一内置初始化二自定义初始化 三、参数绑定小结 在选择了架构并设置了超参数后我们就进入了训练阶段。此时我们的目标是找到使损失函数最小化的模型参数值。经过训练后我们将需要使用这些参数来做出未来的预测。此外有时我们希望提取参数以便在其他环境中复用它们将模型保存下来以便它可以在其他软件中执行或者为了获得科学的理解而进行检查。 之前的介绍中我们只依靠深度学习框架来完成训练的工作而忽略了操作参数的具体细节。本节我们将介绍以下内容
访问参数用于调试、诊断和可视化参数初始化在不同模型组件间共享参数。 我们首先看一下具有单隐藏层的多层感知机。
import torch
from torch import nnnet nn.Sequential(nn.Linear(4, 8), nn.ReLU(), nn.Linear(8, 1))
X torch.rand(size(2, 4))
net(X)一、参数访问 我们从已有模型中访问参数。当通过Sequential类定义模型时我们可以通过索引来访问模型的任意层。这就像模型是一个列表一样每层的参数都在其属性中。如下所示我们可以检查第二个全连接层的参数。
print(net[2].state_dict())输出的结果告诉我们一些重要的事情首先这个全连接层包含两个参数分别是该层的权重和偏置。两者都存储为单精度浮点数float32。注意参数名称允许唯一标识每个参数即使在包含数百个层的网络中也是如此。
一目标参数 注意每个参数都表示为参数类的一个实例。要对参数执行任何操作首先我们需要访问底层的数值。有几种方法可以做到这一点。有些比较简单而另一些则比较通用。下面的代码从第二个全连接层即第三个神经网络层提取偏置提取后返回的是一个参数类实例并进一步访问该参数的值。
print(type(net[2].bias))
print(net[2].bias)
print(net[2].bias.data)参数是复合的对象包含值、梯度和额外信息。这就是我们需要显式参数值的原因。除了值之外我们还可以访问每个参数的梯度。在上面这个网络中由于我们还没有调用反向传播所以参数的梯度处于初始状态。
net[2].weight.grad None二一次性访问所有参数 当我们需要对所有参数执行操作时逐个访问它们可能会很麻烦。当我们处理更复杂的块例如嵌套块时情况可能会变得特别复杂因为我们需要递归整个树来提取每个子块的参数。下面我们将通过演示来比较访问第一个全连接层的参数和访问所有层。
print(*[(name, param.shape) for name, param in net[0].named_parameters()])
print(*[(name, param.shape) for name, param in net.named_parameters()])这为我们提供了另一种访问网络参数的方式如下所示。
net.state_dict()[2.bias].data三从嵌套块收集参数 让我们看看如果我们将多个块相互嵌套参数命名约定是如何工作的。我们首先定义一个生成块的函数可以说是“块工厂”然后将这些块组合到更大的块中。
def block1():return nn.Sequential(nn.Linear(4, 8), nn.ReLU(), nn.Linear(8, 4), nn.ReLU())def block2():net nn.Sequential()for i in range(4):# 在这里嵌套net.add_module(fblock {i}, block1())return netrgnet nn.Sequential(block2(), nn.Linear(4, 1))
rgnet(X)设计了网络后我们看看它是如何工作的。
print(rgnet)因为层是分层嵌套的所以我们也可以像通过嵌套列表索引一样访问它们。下面我们访问第一个主要的块中、第二个子块的第一层的偏置项。
rgnet[0][1][0].bias.data二、参数初始化 知道了如何访问参数后现在我们看看如何正确地初始化参数。我们在【深度学习基础】多层感知机 | 数值稳定性和模型初始化 中讨论了良好初始化的必要性。深度学习框架提供默认随机初始化也允许我们创建自定义初始化方法满足我们通过其他规则实现初始化权重。 默认情况下PyTorch会根据一个范围均匀地初始化权重和偏置矩阵这个范围是根据输入和输出维度计算出的。PyTorch的nn.init模块提供了多种预置初始化方法。
一内置初始化 让我们首先调用内置的初始化器。下面的代码将所有权重参数初始化为标准差为0.01的高斯随机变量且将偏置参数设置为0。
def init_normal(m):if type(m) nn.Linear:nn.init.normal_(m.weight, mean0, std0.01)nn.init.zeros_(m.bias)
net.apply(init_normal)
net[0].weight.data[0], net[0].bias.data[0]我们还可以将所有参数初始化为给定的常数比如初始化为1。
def init_constant(m):if type(m) nn.Linear:nn.init.constant_(m.weight, 1)nn.init.zeros_(m.bias)
net.apply(init_constant)
net[0].weight.data[0], net[0].bias.data[0]我们还可以对某些块应用不同的初始化方法。例如下面我们使用Xavier初始化方法初始化第一个神经网络层然后将第三个神经网络层初始化为常量值42。
def init_xavier(m):if type(m) nn.Linear:nn.init.xavier_uniform_(m.weight)
def init_42(m):if type(m) nn.Linear:nn.init.constant_(m.weight, 42)net[0].apply(init_xavier)
net[2].apply(init_42)
print(net[0].weight.data[0])
print(net[2].weight.data)二自定义初始化 有时深度学习框架没有提供我们需要的初始化方法。在下面的例子中我们使用以下的分布为任意权重参数 w w w定义初始化方法 w ∼ { U ( 5 , 10 ) 可能性 1 4 0 可能性 1 2 U ( − 10 , − 5 ) 可能性 1 4 (1) \begin{aligned} w \sim \begin{cases} U(5, 10) \text{ 可能性 } \frac{1}{4} \\ 0 \text{ 可能性 } \frac{1}{2} \\ U(-10, -5) \text{ 可能性 } \frac{1}{4} \end{cases} \end{aligned} \tag{1} w∼⎩ ⎨ ⎧U(5,10)0U(−10,−5) 可能性 41 可能性 21 可能性 41(1) 同样我们实现了一个my_init函数来应用到net。
def my_init(m):if type(m) nn.Linear:print(Init, *[(name, param.shape) for name, param in m.named_parameters()][0])nn.init.uniform_(m.weight, -10, 10)m.weight.data * m.weight.data.abs() 5net.apply(my_init)
net[0].weight[:2]注意我们始终可以直接设置参数。
net[0].weight.data[:] 1
net[0].weight.data[0, 0] 42
net[0].weight.data[0]三、参数绑定 有时我们希望在多个层间共享参数我们可以定义一个稠密层然后使用它的参数来设置另一个层的参数。
# 我们需要给共享层一个名称以便可以引用它的参数
shared nn.Linear(8, 8)
net nn.Sequential(nn.Linear(4, 8), nn.ReLU(), shared, nn.ReLU(),shared, nn.ReLU(), nn.Linear(8, 1))
net(X)
# 检查参数是否相同
print(net[2].weight.data[0] net[4].weight.data[0])
net[2].weight.data[0, 0] 100
# 确保它们实际上是同一个对象而不只是有相同的值
print(net[2].weight.data[0] net[4].weight.data[0])这个例子表明第三个和第五个神经网络层的参数是绑定的。它们不仅值相等而且由相同的张量表示。因此如果我们改变其中一个参数另一个参数也会改变。这里有一个问题当参数绑定时梯度会发生什么情况答案是由于模型参数包含梯度因此在反向传播期间第二个隐藏层即第三个神经网络层和第三个隐藏层即第五个神经网络层的梯度会加在一起。
小结
我们有几种方法可以访问、初始化和绑定模型参数。我们可以使用自定义初始化方法。
