caffe详解之归一化层
时间:2022-07-22
本文章向大家介绍caffe详解之归一化层,主要内容包括其使用实例、应用技巧、基本知识点总结和需要注意事项,具有一定的参考价值,需要的朋友可以参考一下。
从零开始,一步一步学习caffe的使用,期间贯穿深度学习和调参的相关知识!
LRN 参数配置
layer {
name: "norm1"
type: "LRN"
bottom: "conv1"
top: "norm1"
lrn_param {
local_size: 5
alpha: 0.0001
beta: 0.75
}
}
LRN说明
示意图
公式
意义
LRN
操作主要目的是在深度上进行平滑操作,使得数据在深度层面上有一定的联系。
应用
LRN
层是在AlexNet
网络中提出来的,但是因为其计算的复杂度和后期的效果并不理想,在后面的网络中基本上抛弃的LRN的归一化方法。
Batch Norm 参数配置
layer {
bottom: "conv1"
top: "conv1"
name: "bn_conv1"
type: "BatchNorm"
batch_norm_param {
use_global_stats: true
}
}
layer {
bottom: "conv1"
top: "conv1"
name: "scale_conv1"
type: "Scale"
scale_param {
bias_term: true
}
}
message BatchNormParameter {
// 如果为真,则使用保存的均值和方差,否则采用滑动平均计算新的均值和方差。
// 该参数缺省的时候,如果是测试阶段则等价为真,如果是训练阶段则等价为假。
optional bool use_global_stats = 1;
// 滑动平均的衰减系数,默认为0.999
optional float moving_average_fraction = 2 [default = .999];
// 分母附加值,防止除以方差时出现除0操作,默认为1e-5
optional float eps = 3 [default = 1e-5];
}
Batch Norm 说明
公式
意义
在深度神经网络的训练过程中,先前层参数的调整会导致之后每一层输入值的分布发生变化,这种现象会使得模型的训练变得复杂。因为分布均匀且统一的数据往往更加容易使得算法训练出高准确率的模型。Batch Norm
主要借鉴的是白化的思想,目的是将数据尽量维持在方差为1,均值为0的分布上。因为数据的总量十分庞大,我们无法计算出整个数据集的均值与方差,因此采用Batch的思想,分块的进行白化处理,Batch Norm
的精华体现在最后一个公式上,白化之后进行拉伸与平移,也就是对数据分布进行修正。并且拉伸与平移的系数是通过训练得到的,这样,我们将batch
在整个数据集的整体分布状态也学习了出来,防止以偏概全!下图可以清晰的看出,加入Batch Norm
使得每一层的数据更够有效且均匀的传递到下一层中去。
应用
Batch Norm
在ResNet
网络和Inception-v2
、Inception-v3
、Inception-v4
中均有用到。
参考
批标准化 (Batch Normalization) https://morvanzhou.github.io/tutorials/machine-learning/ML-intro/3-08-batch-normalization/
- 13.1 设置更改root密码
- 12.23 open_basedir
- JDK容器学习之CopyOnWriteArrayList:线程安全保障机制
- JDK容器学习之LinkedList:底层存储&读写逻辑
- Linux基础(day53)
- 15.4 xshell使用xftp传输文件
- JDK容器学习之ArrayList:底层存储和动态扩容
- Linux基础(day57)
- 15.2/15.3 使用vsftpd搭建ftp
- JDK容器学习之Map: HashMap,TreeMap,LinkedHashMap对比小结
- 14.4 exportfs命令
- 不用那么多,每天一点点,学习React,贵在持之以恒
- Linux基础(day56)
- android classloader双亲委托模式
- JavaScript 教程
- JavaScript 编辑工具
- JavaScript 与HTML
- JavaScript 与Java
- JavaScript 数据结构
- JavaScript 基本数据类型
- JavaScript 特殊数据类型
- JavaScript 运算符
- JavaScript typeof 运算符
- JavaScript 表达式
- JavaScript 类型转换
- JavaScript 基本语法
- JavaScript 注释
- Javascript 基本处理流程
- Javascript 选择结构
- Javascript if 语句
- Javascript if 语句的嵌套
- Javascript switch 语句
- Javascript 循环结构
- Javascript 循环结构实例
- Javascript 跳转语句
- Javascript 控制语句总结
- Javascript 函数介绍
- Javascript 函数的定义
- Javascript 函数调用
- Javascript 几种特殊的函数
- JavaScript 内置函数简介
- Javascript eval() 函数
- Javascript isFinite() 函数
- Javascript isNaN() 函数
- parseInt() 与 parseFloat()
- escape() 与 unescape()
- Javascript 字符串介绍
- Javascript length属性
- javascript 字符串函数
- Javascript 日期对象简介
- Javascript 日期对象用途
- Date 对象属性和方法
- Javascript 数组是什么
- Javascript 创建数组
- Javascript 数组赋值与取值
- Javascript 数组属性和方法
- LeetCode题目31:下一个排列
- LeetCode题目33:搜索旋转排序数组
- LeetCode题目34:在排序数组中查找元素的第一个和最后一个位置
- LeetCode题目35:搜索插入位置
- LeetCode题目36:有效的数独
- 你必须掌握动态规划——LeetCode题目5:最长回文子串
- 有意思的难题——LeetCode题目37:解数独
- 源码分析-分布式链路追踪:Skywalking存储插件能力-elasticsearch
- mongodb 4.0副本集搭建
- 浅析Kubernetes Pod重启策略和健康检查
- SpringBoot2 整合Ehcache组件,轻量级缓存管理
- 数据源管理 | 分布式NoSQL系统,Cassandra集群管理
- 【NPM库】- 0x03 - Express
- 数值微分|多项式的导数计算
- 让windows 10 内置ubuntu(WSL)成为扩增子分析生产力