杂记

《tensorflow实战》

LRN(local response normalization)

1. 这是因为sigmoid函数将较大的比如说100,1000映射到较为接近的两个值，比如说0.9和0.91，从而通过体现不出两者差别

这对ReLU这种没有上限边界的激活函数很有用，因为它会从附近的多个卷积核的响应中挑选比较大的反馈，但是不适合sigmoid这种有固定边界并且能抑制过大值的激活函数（可以理解二阶导数在零附近最大）

关于集合

• 通过tf.add_tocollection()将某个value集合中；并通过tf.get_collection()获得values

BN

总的来说BN就是用来解决反向传播过程中出现的梯度弥散($0.9^{100}$)和梯度爆炸($1.1^{100}$)

关于scope

1. tf.name_scope 和 tf.variable_scope的区别在于前者对get_variable的自动命名无效即不会在它的名字前加scope_name

slim

1. 使用装饰器@slim.add_arg_scope将一个自定义函数添加到slim.arg_scope支持的op序列中，e.g. ResNet_V2