一点总结

action

CVPR2018

几篇文章的总结

IndRNN

IndRNN
主要思想:
传统RNN：$h_t=\sigma(Wx_t+Uh_t+b)$
改进:$h_t=\sigma(Wx_t+U\otimes h_t+b)$
$\otimes$means Hadamard product(element-wise multiply)
优点：
U的各个神经元之间independ，RNN每层的每个神经元各自独立地学习一种输入数据的pattern,然后下一层的神经元再基于上一层神经元的输出学习新的pattern，逐层抽象。然后在多层RNN中可以讲U的各个神经元联系起来。

做了一些实验

v1:对IndRNN，W用残差块代替，$U.size()=Wx_t.size()$
v2:感觉U的参数量太大，而且不好收敛，改为$U.size()=[out\_channels,1,1]$提高大概5%，因为res18本身比较小
v3:t从8改为16，RNN 循环次数增加，但是没有看到IndRNN的效果，精度下降
v4:relu改成prelu，考虑relu滤掉了太多的信息，改成prelu,精度稳定在81左右

Thanks!