优化算法公式

未分类

$\Delta \theta _ { t } = - \alpha g _ { t }$

$m _ { t } = \gamma m _ { t - 1 } + ( 1 - \gamma ) g _ { t }$
$\Delta \theta _ { t } = - \alpha m _ { t }$

$\left. \begin{array} { l } { G _ { t } = G _ { t - 1 } + g _ { t } ^ { 2 } } \\ { \Delta \theta _ { t } = - \alpha g _ { t } G _ { t } ^ { - 1 / 2 } } \end{array} \right.$

$\left. \begin{array} { l } { v _ { t } = \beta _ { 2 } v _ { t - 1 } + \left( 1 - \beta _ { 2 } \right) g _ { t } ^ { 2 } } \\ { \Delta \theta _ { t } = - \alpha g _ { t } v _ { t } ^ { - 1 / 2 } D _ { t - 1 } ^ { 1 / 2 } } \\ { D _ { t } = \beta _ { 1 } D _ { t - 1 } + \left( 1 - \beta _ { 1 } \right) \left( \Delta \theta _ { t } / \alpha \right) ^ { 2 } } \end{array} \right.$

$\left. \begin{array} { l } { v _ { t } = \beta _ { 2 } v _ { t - 1 } + \left( 1 - \beta _ { 2 } \right) g _ { t } ^ { 2 } } \\ { \Delta \theta _ { t } = - \alpha g _ { t } v _ { t } ^ { - 1 / 2 } } \end{array} \right.$

$\left. \begin{array} { l } { m _ { t } = \beta _ { 1 } m _ { t - 1 } + \left( 1 - \beta _ { 1 } \right) g _ { t } } \\ { v _ { t } = \beta _ { 2 } v _ { t - 1 } + \left( 1 - \beta _ { 2 } \right) g _ { t } ^ { 2 } } \\ { \hat { m } _ { t } = m _ { t } / \left( 1 - \beta _ { 1 } ^ { t } \right) } \\ { \hat { v } _ { t } = v _ { t } / \left( 1 - \beta _ { 2 } ^ { t } \right) } \\ { \Delta \theta _ { t } = - \alpha \hat { m } _ { t } \hat { v } _ { t } ^ { - 1 / 2 } } \end{array} \right.$