论文链接:https://www.sciencedirect.com/science/article/abs/pii/S1566253525005688

1.针对的问题

        1.当前大多数时空图神经网络仍采用时间模块与空间模块“拼接”的解耦建模范式,要么串行堆叠、要么并行融合,难以在同一统一机制下同时刻画“时间动态 + 空间传播”,从而不足以捕捉真实交通系统中高度耦合的时空依赖关系;

        2.尽管基于 Transformer 的 SOTA 模型通过时空注意力显著提升了预测精度,但其自注意力机制普遍具有时间或空间维度上的二次复杂度,训练与推理开销较大,在对实时性与资源约束敏感的交通场景中难以在精度与效率之间取得理想平衡;

        3.虽然状态空间模型及其代表性工作 Mamba 在纯序列建模任务中已展现出强大的长程依赖建模能力与线性复杂度优势,但在面向“带有图结构的时空数据”时,尚缺乏一种能够在状态空间方程中显式引入空间维度、实现时空一体化建模的系统性框架

2.整体框架

        本文模型的总体框架可以概括为一个“时空图编码-自适应结构注入-Camba Block 时空耦合建模-预测输出”的端到端流程。首先,模型以历史 T个时间步的时空图 Gt−T为输入,在时空模式编码模块(Spatiotemporal Pattern Encoding)中完成多源信息的嵌入:一方面通过全连接层(FC)结合 Time-of-Day(ToD)和 Day-of-Week(DoW)实现周期嵌入,将日周期和周周期等时间先验显式编码到特征中;另一方面基于对称归一化拉普拉斯矩阵 L及其特征向量、特征值提取静态图特征,用以表征路网的拓扑结构。随后,这些时空编码特征被送入空间结构注入器ASS Injector,该模块在图结构约束下执行自适应空间注意力建模,生成反映动态空间依赖关系的低秩注意矩阵 M,并与输入特征一同作为后续状态空间建模的先验,用于构造自适应的状态转移矩阵 A 与卷积偏置S。

核心模块

1.时空模式编码

        该模块将原始交通数据转换为高维特征表示。首先通过全连接层FC将原始交通流量/速度测量值转换为表达性的高维嵌入。为了捕获交通模式中的固有周期性,框架实施双重时间特征增强方法,初始化两个可训练嵌入表来显式编码时间循环信息:时段嵌入(ToD)包含288个不同索引对应24小时内5分钟间隔,周日嵌入(DoW)包含7个索引代表一周中的每一天,将这些时间嵌入做concat。

        所述时空模式编码模块包含可训练的参数化查询表。对于任意时刻的输入数据,首先将其时间戳映射为离散的时间步索引(Time-of-Day Index)和星期索引(Day-of-Week Index);随后,利用所述索引在查询表中检索对应的高维稠密向量;最后,将检索到的时间特征向量与原始交通流特征在通道维度进行级联,形成富含时序语义的节点输入表征。

与时间编码并行,框架同时提取全面的图结构特征,包括邻接矩阵、度矩阵、拉普拉斯矩阵(做图卷积)以及谱分解结果(特征向量、特征值),为后续模块中的空间感知计算提供基础。

2.自适应空间结构注入器(ASS Injector)

        该模块解决原始状态空间模型SSM无法处理时空数据复杂相互依赖关系的问题。该模块采用复杂的注意机制来动态捕获时空依赖关系。

        在每个时间步,所有节点的特征表示首先通过添加可学习的空间调整嵌入进行增强,然后通过不同的线性变换投影到不同的子空间以获得Query、Key和Value矩阵。框架将图结构信息整合到注意力计算机制中,通过图结构邻接矩阵约束注意机制主要关注结构上相关的节点关系。这个激活分数矩阵在架构内发挥双重作用:促进结构感知信息向后续Camba Block的传输,实现动态时空状态转换;与Value矩阵进行矩阵乘法,生成注入了显式空间上下文的特征表示。

3. 动态卷积状态空间模块(Camba Block)

  1. 输入投影与双分支特征切分:模块首先接收来自前置自适应空间结构注入器(ASS Injector)输出的富含空间信息的时空特征张量,通过一个线性投影层将输入特征映射到两倍于内部维度的隐空间,随后在通道维度将该高维特征切分为两个并行的信号流:一个是用于后续深度时空演化的主处理分支(通常记为x),另一个是用于保留原始信号特征以防止信息遗忘的残差门控分支(通常记为z)。

  2. 局部时序特征卷积与激活:在主处理分支上,模块对特征序列执行深度方向的一维卷积(Depthwise 1D Convolution)操作,并紧接着应用SiLU非线性激活函数;这一步骤旨在在进入全局状态空间模型之前,先行捕获极短时间窗口内的局部时序依赖和突发流量模式,类似于在Transformer之前引入卷积层以增强对局部上下文的感知能力。 

  3. 卷积状态空间方程(CSSE)的参数构建与空间注入:随后,模块根据当前输入动态生成离散化时间步长Δ以及输入投影参数B、C,构建卷积状态空间方程的核心组件;在此过程中,模块将图卷积运算的结果融入输入项以生成增强型卷积状态偏置S,同时利用可学习的衰减参数γ将前置模块传递的低秩空间结构矩阵与标准的S4D矩阵进行动态加权融合,从而生成具备物理拓扑约束的状态转移矩阵A,实现空间结构对时间演化过程的显式深度耦合。

选择性状态空间模型:

h(t)是随时间演化的隐状态;A是状态转移矩阵,控制记忆衰减;B是输入控制矩阵。

        在此方程中,输入项B仅仅是对输入信号X(t)进行简单的线性投影。对于交通路网而言,这意味着每个传感器节点虽然有独立的时间记忆,但节点之间在状态输入阶段是空间孤立的,无法感知邻居节点的流量变化。

        引入了增强卷积状态偏置。这里的 S 不再是一个简单的线性投影矩阵,而是一个包含了图卷积运算的复合算子,使得状态的更新直接受到路网拓扑邻域的影响。

        4.Lerp门控单元(LGU):为了促进时空信息的有效整合和保持,框架实现了受Mamba启发的精细门控机制,引入基于线性插值的门控单元。该单元通过线性插值和可学习参数控制插值动力学,实现对时空特征的自适应融合。

实验结果

ST-Camba在五个广泛使用的基准交通预测数据集上进行了全面的实验评估:PEMS04、PEMS07、PEMS08、METR-LA和PEMS-BAY。这些数据集包含通过传感器网络收集的交通信息(流量、速度),以五分钟粒度间隔进行采集。预测任务涉及基于前一小时的数据(12个时间步)预测下一小时的交通状况,时间窗口参数设置为T=12。实验采用三个互补指标评估预测性能:均方根误差(RMSE)、平均绝对误差(MAE)和平均绝对百分比误差(MAPE)。性能评估在多个预测范围内进行——3步(15分钟)、6步(30分钟)和12步(60分钟),提供了对模型在不同时间尺度上性能比较。

时间复杂度分析

        ST-Camba实现了O(NTMD)的计算复杂度,其中N为状态维度,T为时间窗口,M为节点数,d为特征维度。这相比Transformer方法的二次复杂度O(T²Md + TM²d)甚至O(T²M²d)有显著优势。

Logo

AtomGit 是由开放原子开源基金会联合 CSDN 等生态伙伴共同推出的新一代开源与人工智能协作平台。平台坚持“开放、中立、公益”的理念,把代码托管、模型共享、数据集托管、智能体开发体验和算力服务整合在一起,为开发者提供从开发、训练到部署的一站式体验。

更多推荐