MambaSL 论文解读：为什么单层 Mamba 也能成为时间序列分类 Backbone？

论文标题：《MambaSL: Exploring Single-Layer Mamba for Time Series Classification》
会议版本：ICLR 2026 conference paper
研究主题：Mamba、状态空间模型、时间序列分类、UEA Benchmark、单层模型、可复现实验
本文基于上传论文原文整理。:contentReference[oaicite:0]{index=0}

1. 论文背景和要解决的问题

近年来，Mamba 和状态空间模型在语言、视频等序列建模任务中表现突出，被认为是 Transformer 之外的重要路线。相比注意力机制，Mamba 具备线性时间复杂度、长序列建模能力强、推理效率较好等特点。

但是在时间序列分类任务中，Mamba 的潜力并没有被充分验证。论文指出，当前时间序列领域存在一个现象：卷积类模型和传统非深度方法在时间序列分类中依然很强，而 Transformer 和 Mamba 更多被用于时间序列预测。已有研究中，Mamba 在 TSC 任务上的表现并不突出，甚至有工作把 vanilla Mamba 评为较弱的 TSC backbone。

作者认为，这不一定说明 Mamba 本身不适合时间序列分类，更可能是因为：

• 直接套用 vanilla Mamba，没有针对 TSC 任务改造；
• 现有 benchmark 只覆盖部分 UEA 数据集；
• 一些预测模型迁移到分类任务时没有重新调参；
• 深度模型结果受随机初始化、训练协议和数据泄漏问题影响，复现实验不够稳定；
• 现有 Mamba 变体常混入 ROCKET、CWT 等特征工程，导致难以判断 Mamba 本身的贡献。

因此，这篇论文要回答的问题是：

如果只使用一个单层 Mamba，并对输入投影、SSM 时间变化性、跳连和输出聚合做最小化改造，它能否成为强大的多变量时间序列分类 backbone？

这也是 MambaSL 名字中 “SL” 的含义：Single-Layer。

2. 过去方法及不足

论文将时间序列分类相关方法分为几类。

第一类是传统非深度方法，例如 DTW、ROCKET、HIVE-COTE 2.0、Hydra、MultiRocket + Hydra。这些方法在 UEA/UCR 等分类基准中长期很强，尤其适合形状匹配、局部模式识别和小样本数据。但它们往往需要特定变换或集成策略，不一定适合作为可迁移的神经网络 backbone。

第二类是 TSC 专用深度模型，例如 TS2Vec、InceptionTime、TSLANet 等。这类模型直接面向分类任务设计 encoder 和 readout，效果较强，但不同模型结构差异较大，难以说明某个通用序列模块本身是否有效。

第三类是从预测任务迁移过来的模型，例如 DLinear、PatchTST、Crossformer、iTransformer 等。论文指出，很多工作直接使用默认配置测试这些模型，可能低估了它们在分类任务上的能力。作者重新调参后发现，TSF-origin 模型在 UEA 上平均准确率可以提升超过 3 个百分点。

第四类是 Mamba 类方法。已有 TimeMachine、S-Mamba 更多用于时间序列预测；TSCMamba 是面向分类的 Mamba 变体，但它集成了 ROCKET、CWT 等特征工程，掩盖了 Mamba 本身的独立贡献。

所以论文的切入点非常清晰：不是再堆一个复杂模型，而是重新审视 Mamba 在 TSC 中为什么没有发挥出来，并在公平、完整、可复现的 benchmark 下验证。

3. 作者的核心思路和创新

论文提出了四个 TSC-specific hypotheses，即针对时间序列分类任务的四个假设，并据此设计 MambaSL。

假设	核心观点	对应改造
H1	输入投影感受野过小会限制 Mamba 表达	按序列长度扩大 Conv1D kernel size
H2	时间序列未必总需要 fully time-variant SSM	将 Delta、B、C 的 TI/TV 形式模块化为超参数
H3	单层模型中 skip connection 可能绕过 SSM 表示学习	移除 SSM 输出中的 skip term
H4	分类任务既有全局模式，也有事件驱动模式	使用 multi-head adaptive pooling 聚合时间步特征

论文的创新点不在于重新设计一个庞大网络，而在于通过非常少的结构调整，让单层 Mamba 在 30 个 UEA 多变量数据集上达到 SOTA 平均表现。

从工程视角看，这篇论文很有价值，因为它体现了一个重要思想：

对时间序列分类来说，模型深度和结构复杂度未必是关键，任务对齐的输入窗口、状态空间参数化方式和输出聚合方式更重要。

4. 方法结构和关键算法/公式解析

4.1 时间序列分类任务定义

论文将多变量时间序列记为长度为 L 的序列，每个时间点是一个 dx 维向量，最终目标是预测类别标签。常见 TSC 架构可以拆成三部分：输入投影、特征提取器和输出分类器。

$${\tilde{x}}_t={\Phi }_I(x_{t-k+1:t})$$

$$f_{1:L}={\Phi }_{FE}({\tilde{x}}_{1:L})$$

$$l={\Phi }_{CLF}(f_{1:L})$$

y^=arg⁡max⁡i∈{1,⋯ ,dy}softmax(l)i \hat{y} = \arg\max_{i \in \{1,\cdots,d_y\}} softmax(l)_i y^​=argi∈{1,⋯,dy​}max​softmax(l)i​

• (x_{t-k+1:t})：以时间点 t 结尾、长度为 k 的输入子序列
• (\Phi_I)：输入投影模块
• (\tilde{x}_t)：投影后的时间步特征
• (\Phi_{FE})：特征提取器，本文中主要是 Mamba block
• (f_{1:L})：每个时间步的特征表示
• (\Phi_{CLF})：输出分类器或聚合模块
• (l)：分类 logits
• (d_y)：类别数量
• (\hat{y})：预测类别

这个形式说明作者不是只改 Mamba block，而是重新审视完整 TSC pipeline。

4.2 SSM 与选择性 SSM

普通线性时不变 SSM 可以写成：

$$\dot{s}(t)=As(t)+Bu(t),y(t)=Cs(t)+Du(t)$$

• (u(t))：输入信号
• (s(t))：状态向量
• (y(t))：输出信号
• (A)：状态转移矩阵
• (B)：输入到状态的映射
• (C)：状态到输出的映射
• (D)：输入到输出的 skip 项

离散化后：

$$s_t=\bar{A}{s}_{t-1}+\bar{B}{u}_t,y_t=C{s}_t+D{u}_t$$

• (s_t)：第 t 个时间步的状态
• (\bar{A})：离散化后的状态转移矩阵
• (\bar{B})：离散化后的输入映射
• (u_t)：第 t 个时间步输入
• (y_t)：第 t 个时间步输出

Mamba 的选择性 SSM 会让 Delta、B、C 根据输入动态变化：

$${\Delta }_t={\varphi }_{\Delta }({\tilde{x}}_t)$$

$$B_t={\varphi }_B({\tilde{x}}_t)$$

$$C_t={\varphi }_C({\tilde{x}}_t)$$

• (\Delta_t)：输入相关的时间更新步长
• (B_t)：输入相关的输入到状态映射
• (C_t)：输入相关的状态到输出映射
• (\phi_\Delta,\phi_B,\phi_C)：由输入生成参数的可学习映射
• (\tilde{x}_t)：投影后的时间步输入

论文特别强调，Delta 主要控制时间更新速率，B 和 C 更像输入输出通道的 routing 或 mixing。这个分析直接引出 H2：时间变化性不一定所有参数都要打开。

4.3 H1：扩大输入投影感受野

很多时间序列模型使用 kernel size 为 3 的一维卷积作为输入投影。作者认为，对 dense sampled time series 来说，这可能提供不了足够上下文。由于 Mamba 的门控单元会基于输入投影调制 SSM 输出，输入投影太短会成为瓶颈。

论文提出：

$$k=\max (k_{min},\lfloor \lambda L\rfloor )$$

• (k)：输入 Conv1D 的 kernel size
• (k_{min})：最小 kernel size，论文设置为 3
• (\lambda)：序列长度比例，论文设置为 0.02
• (L)：输入时间序列长度

工程上可以理解为：序列越长，输入层越应该看到更宽的局部上下文，而不是固定只看 3 个点。

4.4 H2：模块化控制 TI/TV

论文把 Delta、B、C 的 time-invariant 和 time-variant 形式做成二值开关。

$${\Delta }_t^{(j)\star }=(1-{\theta }_{\Delta }){\Delta }^{(j)}+{\theta }_{\Delta }{\Delta }_t^{(j)}$$

$$B_t^{(j)\star }=(1-{\theta }_B)B^{(j)}+{\theta }_B{B}_t$$

$$C_t^{(j)\star }=(1-{\theta }_C)C^{(j)}+{\theta }_C{C}_t$$

• (\theta_\Delta)：控制 Delta 是否采用 time-variant 形式
• (\theta_B)：控制 B 是否采用 time-variant 形式
• (\theta_C)：控制 C 是否采用 time-variant 形式
• (\Delta^{(j)},B{(j)},C^{(j)})：time-invariant 参数
• (\Delta^{(j)}_t,B_t,C_t)：time-variant 参数
• (j)：通道索引

三个二值开关形成 8 种配置，从 fully LTI 到 fully TV。论文发现，在 TSC 中 fully TV 并不总是最优，甚至 LTI 配置整体更强。这一点和语言建模中 Mamba 的结论不同，说明不同序列任务对动态性的需求并不一样。

4.5 H3：移除 skip connection

Mamba 官方实现中通常包含输入到输出的 skip 项。论文认为，在单层网络中 skip connection 可能让模型绕过 SSM 状态学习，不利于发挥 Mamba 的长程记忆能力。因此作者移除 D 项：

$$f_t^{(j)}=C_t{s}_t^{(j)}$$

• (f^{(j)}_t)：第 j 个通道在时间步 t 的输出特征
• (C_t)：状态到输出映射
• (s^{(j)}_t)：第 j 个通道的状态向量

这个改动的核心是强迫分类 logits 依赖 SSM 状态演化，而不是直接依赖输入 shortcut。

4.6 H4：多头自适应池化

分类任务需要把时间步特征聚合成一个序列级表示。平均池化会平等对待所有时间点，最大池化只关注最强时间点，last-step readout 又依赖最后状态。论文提出 multi-head adaptive pooling。

每个 head 对每个时间步生成一个 gate 分数：

$$g_{t,h}=w_h^{\top }{f}_t+b_h,h=1,\cdots ,N_h$$

• (g_{t,h})：第 h 个 head 在时间步 t 的 gate 分数
• (w_h)：第 h 个 head 的可学习权重
• (b_h)：第 h 个 head 的偏置
• (f_t)：第 t 个时间步的特征
• (N_h)：head 数量

然后对多个 head 取最大值，并通过 softmax 得到时间步权重：

$$g_t=\underset{h}{\max }{g}_{t,h}$$

$${\alpha }_t=\frac{exp(g_t)}{{\sum }_{i=1}^{L}exp(g_i)}$$

$$l=\sum _{t=1}^L{\alpha }_t{l}_t$$

• (g_t)：时间步 t 的最终 gate 分数
• (\alpha_t)：时间步 t 的聚合权重
• (l_t)：时间步 t 对应的 per-time logit
• (l)：最终序列级 logit

这个设计可以退化为平均池化，也可以近似最大池化，因此比固定 pooling 更灵活。

5. 实验设计与主要结论

5.1 Benchmark 和 Baselines

论文使用完整 UEA 多变量时间序列分类 benchmark，共 30 个数据集，覆盖不同长度、变量数、样本数和类别数。序列长度范围为 8 到 17984，变量数范围为 2 到 1345，样本量范围从几十到 25000。论文也指出，很多近期 TSC 工作只使用其中 10 个常用数据集。

设置	内容
数据集	UEA 30 个多变量 TSC 数据集
常用 10 数据集	EC、FD、HW、HB、JV、PEMS、SRS1、SRS2、SAD、UW
评价指标	average accuracy、average rank、win/draw、lose/draw、rank test
基线数量	20 个强基线
模型类别	Non-DL、MLP、CNN、Transformer、Shape-based、Mamba-based
调参策略	每个模型-数据集约 200 组超参数搜索
可复现性	作者释放代码、脚本、日志、checkpoint 和预处理特征

基线包括 DTW-D、ROCKET、HC2、Hydra、MR+Hydra、DLinear、LightTS、MTS-Mixer、TimesNet、ModernTCN、TSLANet、TimeMixer++、FEDformer、ETSformer、Crossformer、PatchTST、GPT4TS、iTransformer、InterpGN、TSCMamba 等。

5.2 主结果：MambaSL 达到 SOTA

图 4 显示，MambaSL 在 10 数据集子集和完整 30 数据集上都取得最佳平均准确率和最佳平均排名。论文指出，MambaSL 相比第二名 TSCMamba 平均准确率高出 1.41 个百分点，并且在 30 个数据集上通过 Wilcoxon signed-rank test 显示，相比除 HC2 外的所有模型都有显著提升。

模型	平均准确率，30 UEA
MambaSL	79.82
TSCMamba	78.40
InterpGN	77.70
TimeMixer++	77.28
HC2	77.12
Hydra	76.32
ModernTCN	76.92
ETSformer	75.72
PatchTST	74.73
Vanilla Mamba，消融表中	74.243

图 5 使用 UMAP 可视化不同模型在 30 个数据集上的 accuracy 分布。结果显示，DL 方法和 non-DL 方法明显聚成不同区域，而 MambaSL 位于两者之间。作者认为这说明 MambaSL 同时具备深度模型和传统 shape-based 方法的一部分优势。

图 6 从数据集维度做 UMAP，将每个数据集表示为 21 个模型准确率组成的向量。结果显示，不同数据集对模型类型有明显偏好，这也解释了为什么单个模型很难在所有数据集上压倒性胜出。

5.3 消融实验：四个假设都有效

论文表 1 对 H1 到 H4 做系统消融。

模型	H1	H2	H3	H4	avg acc，30 UEA
MambaSL	是	是	是	是	79.802
w/o H1	否	是	是	是	80.215
w/o H2	是	否	是	是	77.075
w/o H3	是	是	否	是	79.163
w/o H4，fully connected	是	是	是	否	77.722
w/o H4，avg pool	是	是	是	否	78.610
w/o H4，max pool	是	是	是	否	78.535
w/o H4，last step	是	是	是	否	76.848
only H2	否	是	否	否	77.935
vanilla Mamba	否	否	否	否	74.243

这里有一个有意思的现象：w/o H1 的平均准确率略高于 MambaSL，但论文解释这是由 AF 和 SWJ 等测试样本极少的数据集上的边际变化拉动，整体排名仍然是 MambaSL 更好。因此作者仍然保留 H1。

H2 的影响最大，w/o H2 从 79.802 降到 77.075，说明将 Delta、B、C 的 TI/TV 形式做成可调配置，是 MambaSL 成功的关键。

H4 也很重要，adaptive pooling 优于 fully connected、average pooling、max pooling 和 last-step readout。

5.4 时间变化性分析

论文表 2 对 Delta、B、C 的 8 种 TI/TV 组合做比较。

TV-Delta	TV-B	TV-C	avg acc，30 UEA	avg rank
否	否	否	77.400	3.87
否	否	是	77.102	3.93
否	是	否	77.042	3.80
否	是	是	77.767	3.60
是	否	否	77.707	3.63
是	否	是	77.148	3.70
是	是	否	77.085	3.80
是	是	是	77.055	4.13

结论是：没有某个组合绝对最强，但 fully TV 并不占优。作者在图 7 中进一步分析 EC 和 HW 数据集，发现有些数据集更偏好 TI-Delta 或 TI-B，而 C 的影响较弱。这支持了论文的判断：Delta 和 B 的时间变化性更具数据集依赖，C 因为后续分类器已经会做输出混合，所以影响较小。

5.5 模型深度：单层就够了

论文表 3 比较了堆叠 1、2、3 层 Mamba block 的表现。

深度	avg acc，10 数据集	avg acc，30 UEA	avg rank，30 UEA
1	78.827	79.819	1.33
2	78.853	79.316	1.80
3	78.918	79.279	2.07

10 数据集上，3 层略高；但完整 30 数据集上，1 层最好，平均排名也最好。作者因此采用单层作为默认架构。

这个结论对工程很重要：TSC 不一定需要很深的 Mamba 堆叠，合理的输入投影、状态空间配置和输出聚合，可能比简单加深网络更有用。

6. 局限性和未来研究方向

论文明确给出了两个主要局限。

第一，MambaSL 在 UEA benchmark 上整体鲁棒，但很少在单个数据集上取得压倒性优势。这说明实际业务中可能仍需要领域适配。例如某些领域对输入 embedding 有先验约束，此时按序列长度扩大 kernel size 不一定最优。

第二，论文只研究了第一版 Mamba。Mamba-2 引入了更高效的并行 Mamba block，但如果要在 Mamba-2 中实现本文的 time-variance modularization，需要更底层的优化，超出了论文范围。

此外，从工程落地角度看，还有一些论文中没有明确说明的问题：

• 没有深入讨论超参数搜索成本在真实企业项目中的可接受范围；
• 没有讨论极小样本数据集上的方差和置信区间；
• 没有系统分析模型在流式在线分类场景中的延迟；
• 没有讨论工业传感器噪声、缺失值、漂移对 MambaSL 的影响；
• 没有给出面向异常检测、预测或多任务学习的扩展实验；
• 论文虽然强调可复现，但实际迁移到私有业务数据仍需重新调参和验证。

7. 工程落地启发

7.1 单层模型不等于弱模型

很多工程项目默认认为模型越深越强，但 MambaSL 说明，在时间序列分类中，浅层结构配合正确的 inductive bias 也可以很强。对企业落地来说，这意味着：

• 训练更快；
• 推理成本更低；
• 参数更少；
• 更容易调试；
• 更适合边缘设备或资源受限场景。

如果你的任务是设备状态分类、动作识别、工况识别、电池状态分类，不一定要先上深层 Transformer 或复杂 ensemble，可以优先尝试浅层 Mamba/TCN/Inception 类 backbone。

7.2 不要直接把预测模型套到分类任务

论文反复强调，TSF-origin 模型迁移到 TSC 时必须重新调参。预测任务关注未来值，分类任务关注全局模式或关键事件，两者 readout、窗口长度、输入投影和损失函数都不同。

工程上建议：

• 分类任务不要直接复用 forecasting 默认参数；
• 输入窗口要结合类别判别模式设计；
• 输出层要认真比较 avg pool、max pool、attention pool、adaptive pool；
• 对每类数据集单独调参，而不是全数据集固定配置。

7.3 Mamba 的 TI/TV 配置值得单独调

Mamba 默认 fully selective 并不一定适合所有时间序列分类。对于一些规则性强、采样稳定、形状变化较线性的序列，time-invariant 配置可能更稳。

例如工业传感器、电池电压、工艺曲线等场景，变化可能更接近稳定动力系统。如果过度使用动态时间变化参数，反而可能引入不必要的自由度。

工程实践中可以把以下配置作为搜索项：

• Delta 是否 time-variant；
• B 是否 time-variant；
• C 是否 time-variant；
• 是否保留 skip connection；
• 输出聚合方式；
• 输入卷积 kernel size。

7.4 输出聚合是分类任务的关键

很多时间序列分类模型只关注 backbone，却忽略输出聚合。MambaSL 的 H4 说明，时间步权重分配非常重要。

在实际场景中，类别判别可能来自：

• 整段序列的整体形状；
• 某个局部事件；
• 多个关键片段组合；
• 早期状态和后期状态的变化趋势。

固定 average pooling 或 last-step readout 都可能不够。multi-head adaptive pooling 的启发是：让模型自己学习哪些时间段更重要。

8. 个人理解与总结

MambaSL 这篇论文的核心价值，不是提出一个复杂的新架构，而是证明了一个很重要的工程判断：

Mamba 在时间序列分类中并不弱，弱的是直接套用 vanilla Mamba 的方式。

作者通过四个非常具体的改造，让单层 Mamba 在完整 UEA 30 数据集上超过 20 个强基线，并且通过消融说明性能提升不是偶然的。

这篇论文最值得关注的结论有四点：

• 第一，TSC 中输入投影不能随便设，序列越长，输入感受野可能越重要；
• 第二，Mamba 的 fully time-variant selective SSM 不一定适合所有时间序列分类；
• 第三，单层模型中 skip connection 可能削弱 SSM 状态学习；
• 第四，分类任务的输出聚合很关键，adaptive pooling 比固定 pooling 更泛化。

如果把这篇论文放到实际工程中，我会把它理解为一个轻量、强基线、可复现的 TSC backbone 方案。它特别适合：

• 多变量时间序列分类；
• 工业传感器状态识别；
• 医疗信号分类；
• 动作识别和轨迹分类；
• 样本规模不大但序列较长的场景；
• 需要控制推理成本的边缘部署场景。

但在真实业务落地时，不能只看 UEA 平均准确率。仍然需要结合业务数据特点，重点验证：

• 输入采样是否稳定；
• 序列长度是否固定；
• 类别差异是全局形状还是局部事件；
• 是否存在缺失值和噪声；
• 小样本数据集上的结果是否稳定；
• 超参数搜索成本是否可接受。

一句话总结：

MambaSL 证明了经过任务对齐的单层 Mamba，可以成为强大的时间序列分类 backbone；真正关键的不是堆深模型，而是让输入投影、状态空间动态性和输出聚合方式匹配 TSC 任务本身。