北京市住房与城乡建设部网站,做动漫网站侵权吗,外呼系统,wordpress评论框修改输入图像——卷积层——池化层——全连接层——输出
卷积层#xff1a;核心#xff0c;用来提取特征。 池化层#xff1a;对特征降维。实际的主要作用是下采样#xff0c;减少参数量来提高计算速度。 卷积神经网络的训练#xff1a;前向传播#xff08;分类识别#xf…输入图像——卷积层——池化层——全连接层——输出
卷积层核心用来提取特征。 池化层对特征降维。实际的主要作用是下采样减少参数量来提高计算速度。 卷积神经网络的训练前向传播分类识别、反向传播求各层误差更新权值
用来分类的卷积神经网络模型经典
1AlexNet5层卷积最后连接3个全连接层。ReLU激活函数(收敛速度快减少训练时间避免梯度弥散)。Dropout机制(让某些神经元停止工作降低过拟合现象)。数据增强随机裁剪(训练样本扩充减少过拟合风险)。重叠池化(池化操作步长小于池化的窗口大小)。
2VGG使用多个小卷积核代替一个大尺寸卷积核(网络深度更深深就可以提取出更复杂更抽象的高层特征达到一个大卷积核的感受野但小卷积核的计算参数和计算量较少)。
3ResNet添加恒等映射层(高层特征和低层特征融合解决了网路训练时梯度消失的问题。因为层越多提取的信息就越丰富但层多也容易梯度消失)
轻量型网络
神经网络需要高强度计算在小型嵌入式系统中对网络模型进行部署常见的方法
1先在服务器上部署模型服务器完成计算后结果返回本地应用————特点高度依赖网络环境
2压缩大型经典分类网络模型减少模型运算的参数数量————常用的模型压缩方式权值剪枝、模型量化
MobileNet为移动端或嵌入式设备研发的。使用深度可分离卷积把卷积操作分为Depthwise和Pointwise两部分(深度可分离卷积计算量比传统卷积少8-9倍。缺模型准确率受损)
SqueezeNet在AlexNet网络基础上扩展而来但比AlexNet模型的参数小50倍。
不平衡数据分类
描述训练样本数据中各类样本数据不平衡模型不能从少数的类别样本中学习到足够的信息影响模型准确率和泛化能力。
解决1从数据层面改善————直接对训练样本数据进行调整使用采样的方法来增加少数类别的样本数量或减少多数类别的样本数量从而使每类的分布达到均衡
①少数类别的样本上采样——重复的从少数类别的训练样本中选择数据并输入到网络中——随机均匀上采样随机获取训练样本中部分数据进行样本复制然后作为新的样本添加到该类别样本的训练集中——缺模型缺少泛化能力——解决SMOTE SMOTE是把距离相近的训练样本当做是同一种类别的样本首先在少数类别的样本中选择一个样本数据然后使用K近邻的思想在多个K近邻样本中随机选择一个样本数据且这个样本也是属于少数类别的。对于这两个样本数据在它们之间随机选择一点作为一个新的少数类样本从而使数据集达到平衡。
②多数类别的样本下采样——减少多数类别的训练样本
③结合前两种进行混合采样——同时在少类别样本和多类别样本上采样
2从算法角度解决————算法角度中让每个类别在模型训练时获得同等关注 ①阈值分类调整法只需要设定每个类别的分类阈值输出的结果满足相应的阈值要求即为相应的类别。 ②GMBoost是一种集成学习方法是基于SMOTEBoost 改进得出的该方法的核心是在训练弱分类器时不再使用错误率更新弱分类器权重和样本权重,而是使用几何平均值G-mean代替。③SMOTEBoostSVM是基于SMOTEBoost算法思想提出的该方法先根据数据不平衡的比例将多数类别样本划分为多个子数据集,每个多数类别子数据集和少数类别数据集共同作为训练样本使用 Adaboost训练子分类器。然后筛选出子分类器分类结果不同的样本生成候选的训练集样本再用代价敏感的SVM分类器学习训练候选样本。 ④对损失函数进行修改——李正欣对于二分类情况下的不平衡问题研究出两种损失函数的改进方式让模型可以更加关注少数类别的训练样本 ⑤Haveai提出对模型进行两阶段训练的方法先在平衡的样本上训练在将训练好的模型在不平衡的样本上训练然后对网络的最后一层进行微调
