一、简介

1.1 预测问题

对于预测问题，回归中最简单的线性回归，是以线性的方法拟合出数据的趋势。但是对于有周期性，波动性的数据，并不能简单以线性的方式拟合，否则模型会偏差较大，而局部加权回归（lowess）能较好的处理这种问题。可以拟合出一条符合整体趋势的线，进而做预测。

1.2 平滑问题

同时，局部加权回归（lowess）也能较好的解决平滑问题。在做数据平滑的时候，会有遇到有趋势或者季节性的数据，对于这样的数据，我们不能使用简单的均值正负3倍标准差以外做异常值剔除，需要考虑到趋势性等条件。使用局部加权回归，可以拟合一条趋势线，将该线作为基线，偏离基线距离较远的则是真正的异常值点。
实际上，局部加权回归（Lowess）主要还是处理平滑问题的多，因为预测问题，可以有更多模型做的更精确。但就平滑来说，Lowess很直观而且很有说服力。

二、算法讲解

2.1 算法思想

局部加权回归（Lowess）的大致思路是：以一个点$x$为中心，向前后截取一段长度为$frac$的数据，对于该段数据用权值函数$w$做一个加权的线性回归，记$(x,\hat{y})$为该回归线的中心值，其中$\hat{y}$为拟合后曲线对应值。对于所有的$n$个数据点则可以做出$n$条加权回归线，每条回归线的中心值的连线则为这段数据的Lowess曲线。

2.2 参数讲解

在这个思路中，能提取出的可调参数则是：
1.长度$frac$，应该截取多长的作为局部处理，$frac$为原数据量的比例；
2.权值函数$w$，使用什么样的权值函数$w$合适；
3.迭代次数$it$，在进行一次局部回归后，是否需要迭代，再次做回归；
4.$delta$回归间隔，是否真的每个点都需要算一次加权回归，能否隔$delta$距离算一次，中间没算的用插值替换即可。

在了解了算法算法的大致思想和可调参数以后，你可以马上上手使用statsmodels.api.nonparametric.lowess了。使用方法如下：

import statsmodels.api as sm
lowess = sm.nonparametric.lowess
result = lowess(y, x, frac=0.2, it=3, delta=0.0)

但是，在statsmodels中，你会发现：1、权值w函数你是不可调的；2、在用了$delta$之后，插值函数你是不可调的。
总之就是，黑盒子，很多你都不可调的。而且它还有一个非常严重的问题，具体可看本文3.3效果对比。
接下来就是看相关文档，了解思路，之后，你可以自己写一个lowess，而且速度不会慢。

相关文档，statsmodels就给出了比较权威的参考：《Cleveland, W.S. (1979) “Robust Locally Weighted Regression and Smoothing Scatterplots”. Journal of the American Statistical Association 74 (368): 829-836.》。
文章是《鲁棒性的加权回归》，即原始加权基础上迭代，增加鲁棒性。网上还有一些其他的lowess讲解，我看了，和这个不太一样，可以选择性阅读。

2.3 权值函数

理解了lowess之后，可以明白，其实权值函数并不是固定的，只要满足一定的规则条件即可（当然并也非强制），条件如下：
1.$W(x)>0for|x|<1$;
2.$W(-x)=W(x)$;
3.$W(x)isanonincreasingfunctionforx⩾0$;
4.$W(x)=0for|x|⩾1$

选择该类函数大致思路是：希望$W(x)$大于0，且作用域为[-1,1]，且为对称函数，该函数对于中间(0处)的值较大，两边(-1\1)处值较小。
选择思路是，中间的权值较高，对于加权回归的影响较大；[-1,1]的原因是，对于任意不规则的数据段，可以压缩映射到[-1,1]，方便处理。

权值函数如，B函数（二次函数）：
$$B(x)=\{\begin{array}{rlr}& (1-x^2{)}^2,& for|x|<1\\ & 0,& for|x|⩾1\end{array}$$

W函数（三次函数）：
$$W(x)=\{\begin{array}{rlr}& (1-|x{|}^3{)}^3,& for|x|<1\\ & 0,& for|x|⩾1\end{array}$$

二次与三次函数的区别在于，三次函数对于周围权值降速更快，在平滑最初时候效果好，且适用于大多数分布，但增加了残差的方差。
对于权值函数选取，第一次迭代适用W函数（三次函数），之后迭代使用B函数（二次函数）。
权值函数的使用：
1、使用权值函数$W(x)$；
2、数据段$[d_1,d_2]$，映射成$[-1,1]$对应的坐标；
3、带入函数$W(x)$，计算出每个点对应的$w_i$；
4、使用加权回归得出模型：$\hat{Y}=X(X^{T}wX{)}^{-1}{X}^{T}wY$（推导见我的另一篇博客：线性回归，加权回归，推导过程）

2.4 回归迭代

上面讲了权值函数的选取和使用，提到了迭代，这里讲解怎么迭代。
首先，原值为$y$，预测值为$\hat{y}$，残差为$e=y-\hat{y}$，记$s$为$|e_i|$的中位数。鲁棒性的权值调整附加值${\delta }_k=W(\frac{e_k}{6s})$，修正后的权值为${\delta }_k{w}_k$。
迭代过程为：
1.使用W函数（三次函数）作为权值函数，求出$w_i$。
2.将$w_i$带入加权回归计算出$\hat{y}$
3.求出$e=y-\hat{y}$和$s$
4.以B函数作为修正权值函数，求出${\delta }_k=B(\frac{e_k}{6s})$，计算出${\delta }_k{w}_k$
5.将${\delta }_k{w}_k$作为修正权值，重复2、3、4步骤

该迭代没有明确的终止条件，据大量实验得知，原文中提到是2次迭代就基本收敛了，我做实验的时候，3次左右基本收敛，根文中描述差不多。

2.5 间隔回归，中间插值

在使用局部加权回归的时候，如果每个点都使用一次加权回归，则会比较耗时，所以有了，对于部分点使用加权回归，而未使用加权回归的点采用插值法处理，速度会增快很多，同时不会影响太大效果。
可以每间隔$delta$个点使用一次加权回归，中间点采用：线性插值、二次插值、三次插值等方法。
statsmodels推荐当数据点$N>5000$的时候，选择$delta=0.01\ast N$
而我一般是设置$delta=4$，同时，我的插值函数是线性插值，因为我不希望插值出负数，大家可以根据自己需求选择。

2.6 其他参数

长度$frac$比例，文章给出的适用比例是：0.49，statsmodels默认的是：0.666。
同时，文章中还有一个参数是，使用的是多项式加权回归进行拟合，最高次是$d$，而进行讨论给出的结论是$d=1$
时候，即为线性回归，适合基本大多数场景。所以本博客一开始就使用线性加权回归介绍，感兴趣的可以去看看原文。

三、实验效果

3.1 效果

上面讲了整个思路，和详细的参数意义等，看了之后写出代码应该不难。这里作个伪代码总结：

data_x # x轴数据
data_y # y轴数据
map(x in data_x):               # 对每个x
    x_list = getRange(x, data_x, frac)  # 以x为中心，按照frac的比例截取数据
    w = calFuncW(x_list)                # 以w函数计算权值函数
    y_hat = weightRegression(x_list, data_y[x_list], w)         # 计算y_hat
    for it in iters:                    # 迭代iters次
        err, s, new_w = calNewWeight(y_hat, data_y[x_list], B)  # 使用B函数计算,迭代的new_w
        y_hat = weightRegression(x_list, data_y[x_list], new_w) # 使用new_w计算y_hat
    result = y_hat[x]                   # 取结果中心点

3.2 效率

上面自写的lowess，在spark上运行，executors15g4cores，计算30W8数据，每条数据90的数据条长度，10分钟即可完成（包括数据读写），个人觉得效率已经挺高的。

3.3 效果对比

与statsmodels进行对比，右图为使用statsmodels的函数的结果，左图为自己根据文章写的运行结果，都是同一数据。

可以看出，对于一些特殊数据，直接使用statsmodels会有非常意外的结果，而且随着迭代进行，依旧不会收敛。

有的甚至会出现平滑结果很意外，如右图绿线最低部。

随着迭代进行，产生了更加剧烈的震荡。
所以，结论是：慎用statsmodels的lowess函数。自己写的更可靠，而且自己可调部分更多。