更多资讯,关注 微信公众号:“时序前沿研究”
添加 小助手微信Aniose,备注 时序,加入 时序交流群

一句话概括

本文针对传统时间序列预测方法全局分解对动态复杂局部模式失效、高模型复杂度难以适配资源受限场景的核心痛点,提出了ReCast(可靠性感知码本辅助的轻量级时间序列预测框架)。该框架通过分块量化将时序局部模式编码为离散嵌入,以双路径架构协同建模规则局部结构与不规则波动,核心创新为基于分布鲁棒优化(DRO)的可靠性感知码本增量更新策略,融合表征质量、历史一致性、OOD敏感性三大可靠性因子实现码本的稳健自适应更新。在8个真实世界时序数据集的测试中,ReCast在16项预测误差指标中取得12项SOTA,同时仅需1.0M参数量,单轮训练耗时25ms,在预测精度、计算效率与分布偏移鲁棒性上均显著优于现有主流模型。

在这里插入图片描述

论文: ReCast: Reliability-aware Codebook-assisted Lightweight Time Series Forecasting
作者:Xiang Ma; Taihua Chen; Pengcheng Wang; Xuemei Li; Caiming Zhang
单位:1Shandong University, Jinan, China 2Joint SDU-NTU Centre for Artificial Intelligence Research (C-FAIR), Shandong University, Jinan, China

请各位同学给我点赞,激励我创作更好、更多、更优质的内容!^_^

在这里插入图片描述

详细总结

一、研究背景与核心挑战

时间序列预测在金融、能源、医疗、工业自动化等领域具有关键应用价值,现有方法面临两大核心瓶颈:

  1. 建模能力瓶颈:传统方法依赖趋势、季节、残差的全局分解,仅对结构化周期数据有效,对以局部复杂动态模式为主的真实世界非平稳时序表现不佳;Transformer类模型虽能捕捉长程依赖,但注意力二次复杂度、对噪声敏感的缺陷限制了其落地;轻量化MLP模型效率高,但难以有效表征异构不规则模式。
  2. 工程落地瓶颈:主流高性能模型普遍参数量大、计算开销高,无法适配实时性要求高、资源受限的边缘部署场景;现有基于量化的时序方法多采用静态或启发式码本,无法适配真实数据的分布偏移与动态演化。

基于真实时序普遍存在重复局部形态而非清晰全局规律的核心观测,本文提出ReCast框架,聚焦局部模式建模,实现轻量级与高精度的平衡。

二、ReCast整体架构

ReCast全称为REliability-aware CodebookASsisted Time series forecasting framework,是山东大学团队提出的端到端时序预测框架,整体由三大核心模块构成:分块量化模块双路径预测模块码本构建与增量更新模块,核心创新为可靠性感知的码本自适应更新机制。

三、核心方法论详解
3.1 分块量化模块
  • 输入处理:对历史时序 X ∈ R C × L X \in \mathbb{R}^{C ×L} XRC×L做实例归一化,按固定长度 L p L_p Lp切分为非重叠分块 P P P,对每个分块做2倍下采样,将维度降至 L p / 2 L_p/2 Lp/2,大幅降低码本匹配、存储的计算开销,同时聚焦显著局部结构,提升抗噪性。
  • 量化逻辑:通过可学习码本 S = s k k = 1 K S={s_k}_{k=1}^K S=skk=1K(K为码本大小),将每个下采样分块匹配至最近邻码词,生成离散索引嵌入 Q x Q_x Qx,作为下游预测模块的输入。
3.2 双路径预测架构

为同时兼顾计算效率与表征保真度,ReCast采用互补的双路径设计,最终融合两路输出得到预测结果,核心设计如下表所示:

路径名称 核心功能 实现方式 核心价值
量化路径 建模时序稳定规则的局部结构与模式演化 单层轻量MLP,基于历史离散嵌入 Q x Q_x Qx预测未来分块的离散索引 Q y Q_y Qy 极致轻量化,实现对重复局部模式的高效建模
残差路径 还原量化过程丢失的细粒度不规则波动 先通过码本查表重构量化近似值 X q X_q Xq,计算残差 X r = X − X q X_r=X-X_q Xr=XXq,再通过单层MLP预测未来残差 Y r Y_r Yr 弥补量化的信息损失,保证预测精度,不显著增加模型复杂度
  • 最终预测:两路输出融合后经实例反归一化恢复原始尺度,采用 L 1 L_1 L1损失作为训练目标,提升对异常值的鲁棒性与训练稳定性。
3.3 码本构建与增量更新

码本的质量直接决定模型性能,针对真实时序非平稳、分布偏移的问题,ReCast采用增量更新策略,平衡码本的稳定性与自适应性:

  1. 伪码本构建:每个训练epoch随机采样50%的分块,通过聚类生成聚类中心,作为当前epoch的伪码本,随机采样降低计算量并防止过拟合。
  2. 增量更新规则:首epoch直接用聚类中心初始化码本,后续epoch按公式 S t = S t − 1 + 1 t ( W t S ^ t − S t − 1 ) S^{t}=S^{t-1}+\frac{1}{t}(W^{t} \hat{S}^{t}-S^{t-1}) St=St1+t1(WtS^tSt1)更新,其中 W t W^t Wt为可靠性感知权重,确保各epoch伪码本的公平贡献,同时自适应调整更新幅度。
  3. 嵌入正则化:引入分离损失 L s e p \mathcal{L}_{sep} Lsep,惩罚码词间的过度相似性,防止码本坍塌,保证码本的表征多样性。
3.4 可靠性感知评分与DRO融合

这是ReCast的核心创新,通过三大互补的可靠性因子,结合分布鲁棒优化(DRO)实现码本更新的权重自适应调整,避免固定权重的次优与不稳定:

  1. 三大可靠性因子
    • 表征质量 w r e p w_{rep} wrep:通过簇内重构误差衡量码词对对应分块的表征能力,值越高代表表征质量越好、可靠性越高。
    • 历史一致性 w Δ w_{\Delta} wΔ:衡量当前伪码词与上一epoch码本的偏差,值越高代表旧码本对新数据拟合能力不足,需赋予更高更新权重。
    • OOD敏感性 w j e w_{je} wje:基于分配频率与方差衡量码词对新奇/稀有模式的捕捉能力,提升权重可防止码本嵌入空间坍塌,增强分布外数据适配性。
  2. DRO融合:将多因子融合建模为KL散度约束下的最坏分布期望最小化问题,推导出闭式解实现软最小化融合,让最可靠的指标主导权重,同时平滑折扣其他指标,有效缓解单指标噪声/偏差的影响,提升码本更新的稳健性。
四、实验验证与核心结果
4.1 实验设置
  • 数据集:8个广泛使用的真实世界时序基准数据集,详细信息如下:
数据集 变量数 时间步 采样间隔 所属领域
ETTm1/ETTm2 7 57600 15分钟 电力
ETTh1/ETTh2 7 14400 1小时 电力
ECL 321 26304 1小时 电力
Traffic 862 17544 1小时 交通
Weather 21 52696 10分钟 气象
Solar 137 52560 10分钟 能源
  • 基线模型:8个主流SOTA模型,包括Transformer类(iTransformer、PatchTST、TQNet)、CNN类(TimesNet)、MLP类(PatchMLP、CycleNet、DLinear)。
  • 评价指标:均方误差(MSE)、平均绝对误差(MAE),值越低代表预测精度越高。
  • 训练配置:基于PyTorch实现,单张NVIDIA L40 GPU训练,Adam优化器,初始学习率 3 × 10 − 4 3×10^{-4} 3×104,余弦退火学习率调度,训练30epoch,早停patience为5。
4.2 核心实验结果
  1. 主性能结果:ReCast在8个数据集的16项MSE/MAE平均指标中,取得12项最优(SOTA),显著优于所有基线模型,尤其在非平稳、高噪声的Traffic、Weather数据集上优势明显。
  2. 效率表现:ReCast仅需1.0M参数量,单轮训练耗时仅25ms,远低于iTransformer(6M参数、36ms/iter)、PatchTST(12M参数、70ms/iter)、TimesNet(8.3M参数、195ms/iter)等主流模型,实现了精度与效率的双赢。
  3. 消融实验:对残差路径、增量更新、随机采样、可靠性评分、DRO融合五大核心组件做消融,所有变体性能均出现显著下降,验证了每个组件的必要性与有效性。例如在Traffic数据集上,冻结码本增量更新的变体MSE从0.418升至0.553,MAE从0.272升至0.332,是所有变体中性能下降最显著的,充分验证了动态码本更新的核心价值。
  4. 可迁移性:将ReCast的双路径架构与码本机制迁移至iTransformer、TimesNet等不同骨干网络,均带来了一致的性能提升,证明其架构不依赖特定骨干,具备极强的泛用性。
五、模型优势、局限性与结论
5.1 核心优势
  • 轻量化高效:码本量化大幅压缩模型规模,双路径MLP架构计算开销极低,适配资源受限与实时部署场景。
  • 鲁棒性强:可靠性感知码本更新与DRO融合机制,显著提升了对非平稳时序、分布偏移、噪声的鲁棒性。
  • 精度领先:在8个主流基准数据集上取得SOTA精度,同时兼顾规则周期模式与不规则波动的建模能力。
  • 泛用性好:核心架构可无缝适配Transformer、CNN、MLP等不同类型的骨干网络,具备广泛的落地潜力。
5.2 局限性

模型性能对码本大小K与**分块长度 L p L_p Lp**两个超参数较为敏感,二者决定了表征粒度与分布外泛化能力的权衡,目前仅能通过经验设置,缺乏自适应调整与理论指导。

5.3 结论

ReCast提出了一种全新的码本辅助时序预测框架,通过双路径架构协同实现了轻量级设计与高精度预测,首创的可靠性感知码本增量更新机制,有效解决了非平稳时序的分布偏移适配问题。大量实验验证,ReCast在预测精度、计算效率、泛化能力与鲁棒性上均全面超越现有SOTA模型,为资源受限场景下的时序预测提供了全新的解决方案。


关键问题与解答

问题1:ReCast相比现有主流时序预测方法,最核心的创新突破是什么?

答案:ReCast的核心创新突破集中在两点,彻底解决了现有方法的两大核心痛点:

  1. 架构创新:首创码本辅助的双路径轻量级预测架构,区别于传统全局分解方法与高复杂度的Transformer/CNN模型,通过分块量化捕捉时序重复的局部形态,用量化路径实现极致轻量化的规则模式建模,用残差路径弥补量化的信息损失、还原不规则波动,在不牺牲精度的前提下大幅压缩了模型复杂度。
  2. 机制创新:提出基于DRO融合的可靠性感知码本增量更新策略,解决了现有量化方法静态码本无法适配时序分布偏移的核心问题。该机制通过表征质量、历史一致性、OOD敏感性三大互补维度评估码词可靠性,并用分布鲁棒优化实现自适应权重融合,在码本更新中平衡了稳定性与自适应性,显著提升了模型对非平稳时序、分布偏移的鲁棒性,这也是其性能超越SOTA的核心原因。
问题2:ReCast在工程落地上有什么优势,如何适配资源受限的部署场景?

答案:ReCast从设计之初就面向资源受限场景做了全链路优化,工程落地优势十分突出:

  1. 极致轻量化的参数量与计算开销:ReCast仅需1.0M参数量,单轮训练耗时仅25ms,远低于主流SOTA模型(如iTransformer 6M参数、36ms/iter,TimesNet 8.3M参数、195ms/iter),推理阶段仅需执行简单的码本查表与两路MLP计算,内存占用与推理延迟极低,完美适配边缘端、实时预测等资源受限场景。
  2. 全链路的效率优化设计:分块阶段的下采样将量化维度减半,大幅降低码本匹配与存储开销;训练阶段的随机分块采样进一步减少计算量,同时防止过拟合;核心架构采用单层MLP,避免了Transformer注意力的二次复杂度,计算效率呈数量级提升。
  3. 极强的泛用性与可迁移性:ReCast的核心架构不依赖特定骨干网络,可无缝集成到iTransformer、TimesNet等现有主流模型中并带来一致的性能提升,可直接融入现有工业级时序预测 pipeline,落地改造成本极低。
  4. 鲁棒性强,泛化能力好:可靠性感知码本机制让模型对非平稳数据、噪声、分布偏移有极强的适配能力,在真实工业场景的脏数据、分布变化环境下,仍能保持稳定的预测性能,减少了线上运维与模型重训的成本。
问题3:ReCast的可靠性感知码本更新机制,是如何解决时序预测中经典的分布偏移问题的?

答案:时序分布偏移(非平稳性)是真实场景预测性能下降的核心原因,ReCast通过可靠性感知码本更新机制,从三个层面系统性解决了该问题:

  1. 动态适配数据分布演化:区别于静态码本固定不变的缺陷,ReCast采用增量式码本更新,每个epoch基于最新数据的聚类伪码本更新全局码本,让码本始终能捕捉最新的时序局部模式,适配数据分布的缓慢演化,避免了静态码本在分布偏移后的表征能力退化。
  2. 多维度可靠性评估,过滤噪声与异常扰动:通过三大互补的可靠性因子,对每个码词的更新权重做精细化调控:表征质量因子保证更新的码词有足够的表征能力,避免无效更新;历史一致性因子平衡更新幅度,防止异常值、瞬时噪声导致的码本剧烈抖动;OOD敏感性因子让码本主动适配新奇/稀有模式,避免分布偏移后的模式遗漏。
  3. DRO鲁棒融合,实现保守稳健的更新:将多因子融合建模为分布鲁棒优化问题,求解最坏分布下的可靠性保守估计,避免了固定权重融合在单指标受噪声污染时的次优与不稳定。该机制让码本更新始终以最可靠的信号为主导,平滑折扣异常/噪声信号,在适配分布变化的同时,保证了码本的稳定性,从根本上提升了模型对分布偏移的鲁棒性与泛化能力。
Logo

AtomGit 是由开放原子开源基金会联合 CSDN 等生态伙伴共同推出的新一代开源与人工智能协作平台。平台坚持“开放、中立、公益”的理念,把代码托管、模型共享、数据集托管、智能体开发体验和算力服务整合在一起,为开发者提供从开发、训练到部署的一站式体验。

更多推荐