原文链接：动手学深度学习pytorch版：7.6 RMSProp算法
github：https://github.com/ShusenTang/Dive-into-DL-PyTorch

原论文：
[1] Tieleman, T., & Hinton, G. (2012). Lecture 6.5-rmsprop: Divide the gradient by a running average of its recent magnitude. COURSERA: Neural networks for machine learning, 4(2), 26-31.

RMSProp算法

针对 AdaGrad 算法每个元素的学习率在迭代过程中一直在降低(或不变)，在迭代后期由于学习率过小，可能较难找到一个有用的解。为解决这一问题，RMSProp 算法对 AdaGrad 算法做了一点小小的修改。

算法

不同于AdaGrad算法里状态变量 $s_t$ 是截至时间步tt所有小批量随机梯度 $g_t$ 按元素平方和，RMSProp算法将这些梯度按元素平方做指数加权移动平均。具体来说，给定超参数 $0\le \gamma <1$，RMSProp 算法在时间步 $t>0$ 计算

$${\text{s}}_t\leftarrow \gamma s_{t-1}+(1-\gamma )g_t\odot g_t$$

和AdaGrad算法一样，RMSProp算法将目标函数自变量中每个元素的学习率通过按元素运算重新调整，然后更新自变量

$$x_t\leftarrow x_{t-1}-\frac{\eta }{\sqrt{s_t+\epsilon }}\odot g_t$$

其中 $\eta$ 是学习率，$\epsilon$ 是为了维持数值稳定性而添加的常数，如 $10^{-6}$。因为 RMSProp 算法的状态变量 $s_t$ 是对平方项 $g_t\odot g_t$ 的质数加权移动平均，所以可以看作是最近 $1/(1-\gamma )$ 个时间步的小批量随机梯度平方项的加权平均。如此一来，自变量每个元素的学习率在迭代过程中就不再一直降低（或不变）。

例子

让我们先观察RMSProp算法对目标函数 $f(x)=0.1x_1^2+2x_2^2$ 中自变量的迭代轨迹。回忆在7.5节（AdaGrad算法）使用的学习率为0.4的AdaGrad算法，自变量在迭代后期的移动幅度较小。但在同样的学习率下，RMSProp算法可以更快逼近最优解。

%matplotlib inline
import math
import torch
import sys
sys.path.append("..") 
import d2lzh_pytorch as d2l
import os
os.environ["KMP_DUPLICATE_LIB_OK"]="TRUE"

def rmsprop_2d(x1, x2, s1, s2):
    g1, g2, eps = 0.2 * x1, 4 * x2, 1e-6
    s1 = gamma * s1 + (1 - gamma) * g1 ** 2
    s2 = gamma * s2 + (1 - gamma) * g2 ** 2
    x1 -= eta / math.sqrt(s1 + eps) * g1
    x2 -= eta / math.sqrt(s2 + eps) * g2
    return x1, x2, s1, s2

def f_2d(x1, x2):
    return 0.1 * x1 ** 2 + 2 * x2 ** 2

eta, gamma = 0.4, 0.9
d2l.show_trace_2d(f_2d, d2l.train_2d(rmsprop_2d))

输出：

epoch 20, x1 -0.010599, x2 0.000000