发帖
雷达卡
论文标题：xPatch: Dual-Stream Time Series Forecasting with Exponential Seasonal-Trend Decomposition
论文链接：https://arxiv.org/abs/2412.17323
研究背景
近年来，Transformer模型在时间序列预测任务中广泛应用，其自注意力机制虽能有效捕捉长距离依赖关系，但存在排列不变性问题，导致难以充分保留时序数据的顺序特征。这一缺陷使得一些简单的线性模型（如DLinear）在某些场景下反而表现更优。
同时，主流的时间序列分解方法（如Autoformer、FEDformer中采用的简单移动平均SMA）在处理边界时需进行填充操作，容易引入偏差。此外，这类方法提取的趋势成分较为单一，对复杂季节性模式的建模能力有限。
针对上述问题，本文提出一种全新的非Transformer架构——xPatch。该模型采用双流结构，结合指数移动平均（EMA）分解、通道独立处理与patch技术，显著提升了长期时间序列预测的准确性与鲁棒性。
核心方法
01 指数季节-趋势分解（EMA）
不同于传统SMA，xPatch采用指数移动平均（EMA）进行趋势提取。该方法赋予近期观测更高权重，无需对序列首尾进行填充，从而避免了边界偏差问题。趋势分量由EMA直接生成，而季节性分量则通过原始序列减去趋势获得。
相比SMA，EMA能够更灵敏地响应动态变化，分解结果更具可解释性。进一步地，作者通过对季节性分量进行ADF检验，验证了其平稳性，表明该分解方式更适合后续建模。
如上图所示，在ETTh1数据集上，研究人员测试了不同平滑因子（0.1、0.3、0.5、0.7、0.9和1）对长度为96的样本进行分解的效果。结果显示：当平滑因子较小时，趋势分量更加平滑，对短期波动不敏感，对应的季节性分量包含更多高频信息；随着平滑因子增大，趋势更贴近原始序列，响应速度加快，季节性波动幅度相应减弱。
02 双流网络架构
xPatch设计了两个并行处理流，分别应对趋势和季节性分量：
- 线性流（MLP）：专用于处理趋势分量，包含全连接层、平均池化和层归一化模块，不使用非线性激活函数，专注于线性特征的学习与表达。
- 非线性流（CNN）：负责建模季节性分量，融合patch划分与深度可分离卷积，有效捕捉局部patch内的模式以及跨patch的时空相关性。
此外，模型采用通道独立策略，将多变量序列拆分为多个单变量子序列分别处理，每个变量独立经过双流结构，增强了模型对各变量特性的适应能力。
03 损失函数与学习率调整策略
为了提升远期预测的稳定性，xPatch提出了反正切损失函数，以缓解CARD等模型中距离衰减系数下降过快的问题。该损失使未来时间步的权重衰减更为平缓，有助于改善长期预测性能。
在优化过程中，引入了基于Sigmoid函数的学习率调整机制，实现非线性的暖启动与衰减过程。相较于常见的余弦或线性调度方式，该策略使训练过程更加平稳，收敛效果更好。
实验验证
实验在9个真实世界时间序列数据集上展开，涵盖电力变压器温度（ETT系列）、气象、交通流量、电力消耗等多个领域，覆盖多种采样频率，具有广泛代表性。对比基线包括Transformer类模型（如CARD、PatchTST、Autoformer）及非Transformer模型（如DLinear、TimeMixer）。
结果表明，xPatch在60%的测试案例中取得了最低MSE，在70%的情况下实现了最优MAE表现。相比CARD模型，MSE和MAE分别平均提升2.46%和2.34%；经过超参数搜索后，性能增益进一步扩大至5.29%（MSE）和3.81%（MAE）。
在计算效率方面，尽管双流结构带来一定额外开销，但整体仍远优于Transformer类模型。例如，CARD的训练时间约为xPatch的4.8倍。
消融实验充分验证了各组件的有效性：EMA分解、双流设计、patch机制以及反正切损失均对最终性能有显著贡献。其中，仅EMA分解一项即可带来1.35%–4.96%的性能提升。
结论与未来方向
核心贡献总结：
- 提出基于指数移动平均（EMA）的季节-趋势分解方法，替代传统SMA，提升分解质量且避免边界偏差。
- 构建CNN与MLP双流架构，结合通道独立与patch技术，在不依赖Transformer的前提下实现高性能预测。
- 设计反正切损失函数与Sigmoid学习率调整策略，优化训练动态，增强长期预测稳定性。
未来研究方向：
- 探索更高级的分解机制，以应对更强非平稳性的时间序列数据。
- 突破当前通道独立假设，研究变量间的交互建模方式，挖掘多变量协同效应。
京公网安备 11010802022788号
