联邦时序预测窗口选择准则-理论解法

清风吹过

307人浏览 · 2026-04-25 15:18:48

清风吹过 · 2026-04-25 15:18:48 发布

关于联邦学习时间序列预测中最优回溯窗口的理论论文。

论文基本信息

项目	内容
标题	Optimal Look-back Horizon for Time Series Forecasting in Federated Learning（联邦学习时间序列预测的最优回溯窗口）
作者	Dahao Tang, Nan Yang, Yanli Li, Zhiyu Zhu, Zhibo Jin, Dong Yuan（悉尼大学 + 悉尼科技大学）
发表会议	AAAI 2026（人工智能顶级会议）
核心贡献	首个针对非IID联邦场景的、有理论保证的自适应回溯窗口选择框架

研究背景与核心问题

时间序列预测中的关键选择

回溯窗口（Look-back Horizon）：预测未来时用多少个历史时间步作为输入？

未来预测 Ŷ_t = f(X_{t-H+1}, ..., X_t)
                ↑
           回溯窗口 H

现有困境：

传统方法：将H视为超参数，通过交叉验证或启发式搜索确定
近期理论（Shi et al., 2024）：提出基于内在表示空间的缩放定律，但仅限中心化、IID场景
联邦学习场景：数据分布式、非IID、异构——现有理论全部失效

联邦学习的特殊挑战

挑战	说明
数据异构性（Non-IID）	各客户端分布不同、序列长度不同、领域特性不同
特征偏斜（Feature Skew）	同一特征在不同客户端上均值/方差不同
样本效率问题	窗口重叠导致有效独立样本数仅为 $D_k/H$
全局 vs 局部最优冲突	各客户端最优H不同，需聚合策略

核心方法论：三阶段理论框架

Stage 1: 合成数据生成器（SDG）

目标：用参数化模型捕捉真实世界非IID时间序列的核心结构

SDG公式（单客户端k，特征f，时间t）：

$x^f,t,k=∑j=1JAf,j,ksin⁡(2πtTf,j,k+θf,j,k)⏟季节性+∑i=1pϕk,ixf,t−i,k⏟AR自回归+βf,kt⏟趋势+εf,t,k⏟噪声\hat{x}_{f,t,k} = \underbrace{\sum_{j=1}^{J} A_{f,j,k} \sin\left(\frac{2\pi t}{T_{f,j,k}} + \theta_{f,j,k}\right)}_{\text{季节性}} + \underbrace{\sum_{i=1}^{p} \phi_{k,i} x_{f,t-i,k}}_{\text{AR自回归}} + \underbrace{\beta_{f,k} t}_{\text{趋势}} + \underbrace{\varepsilon_{f,t,k}}_{\text{噪声}}$

其中 $εf,t,k∼N(μf,k,σf,k2)\varepsilon_{f,t,k} \sim \mathcal{N}(\mu_{f,k}, \sigma^2_{f,k})$

特征偏斜建模（联邦异构性）：
$xf,t,k=Λf,kx~f,t,k+δf,kx_{f,t,k} = \Lambda_{f,k} \tilde{x}_{f,t,k} + \delta_{f,k}$

$Λf,k\Lambda_{f,k}$ ：线性尺度（控制方差变化）
$δf,k\delta_{f,k}$ ：均值偏移

验证：图1显示SDG生成数据与真实天气数据高度吻合

Stage 2: 内在空间构建（Intrinsic Space）

目标：将异构时间序列窗口映射到具有良好几何/统计性质的紧凑表示空间

五步骤变换流程：

Step 1: 客户端归一化
   消除仿射特征偏斜，对齐边缘分布
   ˆx_{f,i,k} = (x_{f,i,k} - μ_{f,k}) / σ_{f,k}

Step 2: 窗口展平为向量
   ˆx^{flat}_{t,k} = vec(ˆX_{t,k}) ∈ R^{F·H}

Step 3: 全局协方差估计与特征分解
   Σ = (1/N) X^⊤X = UΛU^⊤
   识别主导变化轴

Step 4: 内在维度估计
   基于SDG结构计算理论内在维度

Step 5: 投影到内在空间
   z_{t,k} = Φ_H(x_{t,k}) = U_{d_I}^⊤ · ˆx^{flat}_{t,k} ∈ R^{d_I}

关键假设（6条，确保理论严谨性）：

假设	内容	意义
A1: 紧致像	$sup⁡x∈O(H)∣ΦH(x)∣2≤RH\sup_{x\in O(H)} \|\Phi_H(x)\|_2 \leq R_H$	表示有界，统计量良好定义
A2: 双Lipschitz嵌入	$αH∣x−y∣≤∣ΦH(x)−ΦH(y)∣≤βH∣x−y∣\alpha_H\|x-y\| \leq \|\Phi_H(x)-\Phi_H(y)\| \leq \beta_H\|x-y\|$	距离保持，可逆且稳定
A3: 内在维度单调饱和	$dI(H+1)≥dI(H)d_I(H+1) \geq d_I(H)$ ，且 $\geq H_{id}$ 时饱和	信息完备后不再增长
A4: 跨窗口兼容	存在稳定线性投影 $P[H_2,H_1]$	不同H可比
A5: 截断≈投影	$∣TH2→H1(z)−P[H2,H1]z∣≤cerrH1−γ\|T_{H_2\to H_1}(z) - P[H_2,H_1]z\| \leq c_{err}H_1^{-\gamma}$	截断破坏性随H增大衰减
A6: 幂律谱衰减	$λi(H)≤CZi−αZ\lambda_i(H) \leq C_Z i^{-\alpha_Z}$	低维摘要有效

内在维度公式（核心结果）：

$dI,k(H)≈F⋅(min⁡{H,ℓAR,k}+gk(H)+1)\boxed{d_{I,k}(H) \approx F \cdot \left(\min\{H, \ell_{AR,k}\} + g_k(H) + 1\right)}$

其中：

$ℓAR,k=⌈ln⁡(1/(1−ε))−ln⁡ρk⌉\ell_{AR,k} = \left\lceil \frac{\ln(1/(1-\varepsilon))}{-\ln \rho_k} \right\rceil$ ：有效AR记忆长度（ $ρk\rho_k$ 为谱半径）
$gk(H)=2∑j=1Jwj,k⋅min⁡{1,HTj,k∗}g_k(H) = 2\sum_{j=1}^{J} w_{j,k} \cdot \min\left\{1, \frac{H}{T^*_{j,k}}\right\}$ ：季节性复杂度（振幅加权）
$+ 1$ ：线性趋势

Stage 3: 损失分解与最优窗口理论

联邦损失分解定理（Theorem 1）

总预测损失 = 贝叶斯损失（不可约）+ 近似损失（可优化）

$\underbrace{L_{Bayes}(H,S)}_{\text{不可约不确定性}} + \underbrace{L_{approx}(H,S;m)}_{\text{有限样本/模型容量限制}}$

联邦聚合形式：

服务器级贝叶斯损失： $LBayes(server)(H,S)=∑k=1KπkLBayes(k)(H,S)L^{(server)}_{Bayes}(H,S) = \sum_{k=1}^K \pi_k L^{(k)}_{Bayes}(H,S)$
服务器级近似损失： $Lapprox(server)(H,S;m)=∑k=1KπkLapprox(k)(H,S;m)L^{(server)}_{approx}(H,S;m) = \sum_{k=1}^K \pi_k L^{(k)}_{approx}(H,S;m)$

客户端贝叶斯损失分解（Theorem 2）

$LBayes(k)(H,S)=LAR(k)(S)⏟AR创新累积+Lseas(k)(H)⏟季节性残余+Ltrend(k)(H)⏟趋势残余L^{(k)}_{Bayes}(H,S) = \underbrace{L^{(k)}_{AR}(S)}_{\text{AR创新累积}} + \underbrace{L^{(k)}_{seas}(H)}_{\text{季节性残余}} + \underbrace{L^{(k)}_{trend}(H)}_{\text{趋势残余}}$

各分量行为：

分量	依赖H？	行为	饱和条件
AR损失	❌ 仅依赖S	随S增长，与H无关（一旦H≥p）	H ≥ p
季节性损失	✅	随H增大而减小	H ≥ max{T_{f,j,k}}
趋势损失	✅（若未显式建模）	线性	显式建模时为0

关键洞察：贝叶斯损失单调递减且最终饱和——超过一定H后，更多历史信息不再减少不可约误差

近似损失上界（Theorem 3）

$Lapprox(k)(H,S;m)≲(K22dI,k(H)2)dI,k(H)4+dI,k(H)⏟曲率项（几何复杂度）+(dI,k(H)HDk)44+dI,k(H)⏟有限样本项L^{(k)}_{approx}(H,S;m) \lesssim \underbrace{\left(K_2^2 d_{I,k}(H)^2\right)^{\frac{d_{I,k}(H)}{4+d_{I,k}(H)}}}_{\text{曲率项（几何复杂度）}} + \underbrace{\left(\frac{d_{I,k}(H) H}{D_k}\right)^{\frac{4}{4+d_{I,k}(H)}}}_{\text{有限样本项}}$

两项均随H增长：

曲率项：内在维度 $d_{I,k}(H)$ 随H增大，模型需逼近更高维函数类
样本项：有效独立样本数 $∝Dk/H\propto D_k/H$ 随H增大而减少

核心定理：最优窗口的存在性与刻画

单峰性定理（Theorem 4）

条件：

贝叶斯损失： $H^*_k(\delta)$ 时 $ΔLBayes≤−δ\Delta L_{Bayes} \leq -\delta$ （显著下降）； $\geq H^*_k(\delta)$ 时 $∣ΔLBayes∣≤δ|\Delta L_{Bayes}| \leq \delta$ （饱和）
近似损失： $\geq H^*_k(\delta)$ 时 $ΔLapprox≥η>δ\Delta L_{approx} \geq \eta > \delta$ （持续上升）

结论：总损失 $L^{(k)}(H)$ 在 $H^*_k(\delta)]$ 上递减，在 $[Hk∗(δ),∞)[H^*_k(\delta), \infty)$ 上递增，即单峰，全局最小值在最小充分窗口处取得：

$Hk∗(δ)=min⁡{H:∣ΔLBayes(k)(H)∣≤δ}\boxed{H^*_k(\delta) = \min\{H : |\Delta L^{(k)}_{Bayes}(H)| \leq \delta\}}$

直观解释：

损失
  ↑
  │      ╭────╮
  │     ╱      ╲    近似损失（随H增长）
  │    ╱   ★    ╲
  │   ╱  最优窗口 ╲
  │  ╱              ╲
  │ ╱ 贝叶斯损失      ╲
  │╱（随H饱和）         ╲
  └──────────────────────→ H
       ↑
    H* = 最小充分窗口
       = 贝叶斯损失开始饱和
         且近似损失开始主导的点

季节性覆盖解释（Corollary 1）

将容忍度 $δ\delta$ 与可解释的信号结构关联：

τ-覆盖窗口： $Tk(τ)T^{(\tau)}_k$ = 最小H，使得未解析季节性能量 $≤(1−τ)Ak2\leq (1-\tau)A^2_k$

若选择 $τ\tau$ 使得 $(1−τ)Ak2≤δ(1-\tau)A^2_k \leq \delta$ ，则：

$Hk∗(δ)=max⁡{ℓAR,k,Tk(τ)}\boxed{H^*_k(\delta) = \max\{\ell_{AR,k}, T^{(\tau)}_k\}}$

实用意义：最优窗口由AR记忆长度和季节性周期覆盖两者决定

联邦聚合策略

问题

各客户端最优窗口 ${Hk∗(δ)}k=1K\{H^*_k(\delta)\}_{k=1}^K$ 不同，服务器需选择单一全局窗口 $H_{server}$

解决方案：稳健联邦窗口

加权截尾均值（Trimmed Mean）：

$Hserver∗=TrimMeanα({Hk∗(δ)}k=1K;{wk}k=1K)H^*_{server} = \text{TrimMean}_\alpha\left(\{H^*_k(\delta)\}_{k=1}^K; \{w_k\}_{k=1}^K\right)$

$wk∝nkw_k \propto n_k$ ：按数据量加权
$α\alpha$ ：丢弃最小和最大的 $α\alpha$ 比例客户端窗口
等价于：最小化凸Huber型聚合目标

优势：避免少数极端客户端（极大/极小H）主导全局决策，平衡大多数客户端需求

与前四篇文献的关联

维度	残差分析 (PR)	ReCast (AAAI)	LiConvFormer (ESWA)	本论文 (AAAI)
核心任务	知识发现	时间序列预测	故障诊断（分类）	联邦时间序列预测
核心问题	“残差是否可解释？”	“如何轻量且鲁棒地预测？”	“如何轻量且鲁棒地诊断？”	“回溯窗口H该选多大？”
理论深度	统计显著性检验	经验性SOTA性能	经验性轻量设计	严格理论证明
方法类型	矩阵轮廓 + 模体发现	码本量化 + 双路径MLP	可分离卷积 + 广播注意力	内在空间 + 损失分解
复杂度分析	$O(n^2)$ 算法	$O(n^2)$ →线性	$O(N^2)$ → $O (N)$	内在维度 $d_I(H)$ 控制
残差/误差处理	挖掘残差模式	残差路径补偿	无显式处理	贝叶斯损失（不可约）+ 近似损失（可优化）
场景	单时间序列分析	中心化预测	单设备诊断	联邦学习（非IID、分布式）

核心贡献总结

贡献	说明
1. 内在空间形式化	将异构非IID多变量时间序列变换为紧凑、几何保持的表示空间；具有双Lipschitz连续性、内在维度饱和、跨窗口兼容性
2. 损失紧密分解	预测损失 = 贝叶斯项（不可约）+ 近似项（有限样本/模型容量）；每项解析 tied 到时间序列结构（AR记忆、季节性、趋势）和窗口H
3. 最优窗口定理	证明总损失关于H单峰；最小充分窗口 $H^*$ 为全局最小值；首个有理论保证的联邦场景窗口选择准则
4. 稳健聚合策略	加权截尾均值聚合各客户端最优窗口，避免极端值主导