[关闭]
@zqbinggong 2018-05-30T06:07:01.000000Z 字数 492 阅读 344

杂记

《tensorflow实战》


LRN(local response normalization)

  1. 这是因为sigmoid函数将较大的比如说100,1000映射到较为接近的两个值,比如说0.9和0.91,从而通过体现不出两者差别

这对ReLU这种没有上限边界的激活函数很有用,因为它会从附近的多个卷积核的响应中挑选比较大的反馈,但是不适合sigmoid这种有固定边界并且能抑制过大值的激活函数(可以理解二阶导数在零附近最大)

关于集合

BN

总的来说BN就是用来解决反向传播过程中出现的梯度弥散()和梯度爆炸()

关于scope

  1. tf.name_scope 和 tf.variable_scope的区别在于前者对get_variable的自动命名无效即不会在它的名字前加scope_name

slim

  1. 使用装饰器@slim.add_arg_scope将一个自定义函数添加到slim.arg_scope支持的op序列中,e.g. ResNet_V2
添加新批注
在作者公开此批注前,只有你和作者可见。
回复批注