论文：TS-RAG: Retrieval-Augmented Generation based Time Series Foundation Models are Stronger Zero-Shot Forecaster
作者：Kanghui Ning, Zijie Pan, Yu Liu, Yushan Jiang, et al.
单位：School of Computing, University of Connecticut, Storrs, USA.
代码：https://github.com/UConn-DSIS/TS-RAG

更多资讯 搜索微信公众号：时序前沿研究，加入时序交流群

请各位同学给我点赞，激励我创作更好、更多、更优质的内容！^_^

一段话总结

本文提出了TS-RAG，一种面向零样本时间序列预测的检索增强生成框架，旨在解决现有时间序列基础模型(TSFMs)泛化能力弱、可解释性差的问题。该框架通过预训练时间序列编码器从多领域知识库中检索语义相关的历史模式，并利用创新的自适应检索混合器(ARM)动态融合检索信息与模型内部表示，无需任务特定微调即可提升预测精度。在7个公共基准数据集上，TS-RAG以Chronos-Bolt为骨干实现了SOTA零样本性能，平均降低3.54% MSE和1.43% MAE，在汇率数据集上最高提升6.84%，同时推理速度比同类方法RAF快360倍，并通过检索证据提供了良好的可解释性。

详细总结

1. 研究背景与动机

• 现有方法的不足：
  • 传统统计方法(ARIMA)和深度学习方法(LSTM、TCN)在特定领域表现良好，但难以泛化到未见过的数据集
  • 基于LLM的时间序列方法计算成本高，跨域泛化能力有限
  • 现有TSFMs(Chronos、TimesFM等)缺乏动态融入外部知识的机制，难以处理非的机制，难以处理非平稳性和分布偏移，且可解释性差
• RAG范式的启发：RAG在NLP任务中通过检索外部文档增强LLM输出，本文将这一思想迁移到时间序列预测领域，提出TS-RAG框架
  

2. TS-RAG框架设计

TS-RAG由三个核心组件构成：检索知识库、检索器和自适应检索混合器(ARM)，整体架构保持TSFM骨干冻结，仅训练少量新增参数。

2.1 检索知识库构建

• 从Chronos预训练数据集中采样500万个数据点，构建包含280万个(上下文窗口, 预测区间)对的多领域知识库
• 每个条目存储为三元组：$(x_i,e_i,y_i)$，其中$x_i$是长度为512的上下文窗口，$e_i$是预训练编码器生成的嵌入，$y_i$是对应的64步预测区间

2.2 检索器

• 使用预训练的TS编码器(如Chronos编码器)将输入查询序列转换为嵌入
• 计算查询嵌入与知识库中所有嵌入的欧氏距离，返回Top-k最相似的序列对
• 支持不同的检索回溯长度(64/128/256/512)，实验表明512步回溯效果最佳

2.3 自适应检索混合器(ARM)

这是TS-RAG的核心创新模块，用于有效融合检索信息与模型内部表示：

1. 投影层：将Top-k个检索到的预测区间通过MLP映射到与TSFM输出相同的维度
2. 多头注意力层：学习查询表示与检索表示之间的交互特征，保留残差连接
3. 自适应加权：通过可学习的评分网络计算每个表示的重要性权重，进行加权求和
4. 残差融合：将融合结果与原始TSFM输出相加，保留模型预训练能力

2.4 预训练与推理

• 预训练：冻结TSFM骨干和检索编码器，仅训练投影层和ARM模块，使用与骨干相同的损失函数(Chronos-Bolt使用分位数回归损失)
• 零样本推理：无需任何任务特定微调，直接在新数据集上进行预测，支持通过滚动策略扩展预测长度
  

3. 实验结果与分析

3.1 零样本预测性能

在7个基准数据集上，TS-RAG(Chronos-Bolt骨干)显著优于所有基线模型，核心结果如下：

模型	平均MSE	平均MAE	相对Chronos-Bolt提升
TS-RAG(Chronos-Bolt)	0.1940	0.2492	-3.54% MSE / -1.43% MAE
Chronos-Bolt	0.2008	0.2525	-
MOMENT	0.2374	0.3044	-18.28% MSE
TTM	0.2104	0.2665	-7.79% MSE
Moirai	0.2542	0.2906	-23.68% MSE

• 最大提升出现在汇率数据集，MSE从0.0673降至0.0627，提升6.84%
• 跨骨干验证：使用MOMENT作为骨干时，TS-RAG平均MSE从0.2374降至0.2216，提升6.66%，证明了框架的通用性
  

3.2 消融实验

• ARM模块有效性：ARM模块比简单门控融合平均MSE低2.12%，证明了注意力机制和自适应加权的优势
• 知识库配置影响：
  • 领域内知识库效果最佳(MSE 0.1940)
  • 多领域知识库次之(MSE 0.1951)
  • 跨领域知识库仍优于基线(MSE 0.1982)
• 检索参数敏感性：
  • Top-k值在10左右达到最优，继续增加k收益递减
  • 欧氏距离和余弦相似度效果相当，均显著优于DTW距离
  • 检索编码器选择对性能影响较小，证明了框架的鲁棒性

3.3 长序列预测性能

TS-RAG在长序列预测中保持优势，有效缓解了滚动预测的误差累积问题：

预测长度	Chronos-Bolt MSE	TS-RAG MSE	提升幅度
96	0.2267	0.2189	3.44%
192	0.2857	0.2764	3.26%
336	0.3476	0.3347	3.71%
720	0.4610	0.4363	5.36%

3.4 与RAF的对比

RAF是首个零样本检索增强预测方法，TS-RAG在性能和效率上均全面超越：

方法	平均MSE	单查询推理时间	相对加速比
RAF(Chronos-Bolt)	0.2045	3474 ms	1x
TS-RAG(Chronos-Bolt)	0.1940	9.62 ms	361x

• 性能提升：平均MSE降低5.13%
• 效率提升：检索阶段从3290ms降至9.2ms，主要得益于FAISS快速近邻搜索和紧凑嵌入表示

3.5 可解释性案例

TS-RAG提供两种可解释性机制：

1. 检索证据：展示与输入序列最相似的Top-k历史模式，直观呈现预测依据
2. 透明加权：显示每个检索序列对最终预测的贡献度，帮助理解模型决策过程

案例表明，TS-RAG能够准确检索到具有相似趋势和周期性的历史序列，尤其在处理突变趋势和峰值预测时效果显著。

4. 结论与展望

• 结论：TS-RAG通过检索增强生成有效提升了TSFMs的零样本泛化能力和可解释性，在多个基准数据集上达到SOTA性能，同时保持了极高的推理效率
• 局限性：
  • 目前仅支持单模态时间序列数据，未整合文本、元数据等多模态信息
  • 实验主要在标准基准数据集上进行，未充分验证复杂真实场景的有效性
• 未来工作：
  • 探索多模态TS-RAG，整合异构数据增强预测能力
  • 优化检索排序机制，进一步提升检索质量
  • 将TS-RAG应用于金融、医疗等更多实际领域