本篇论文来自KDD2025第二轮,最新时序技术,提出了一个多尺度超图 Transformer——MSHTrans,通过融合超图建模多阶时间依赖能力与时间序列分解技术,来提升时间序列重构精度以增强异常检测效果

了解顶会最新技术,紧跟科研潮流,研究与写作才能保持在时代一线,全部73篇KDD2025(1+2轮)前沿时序合集小时已经整理好了,在功🀄浩“时序大模型”发送“资料”扫码回复“KDD2025时序合集”即可自取~其他顶会时序合集也可以回复相关顶会名称自取哈~(AAAI25,ICLR25,ICML25等

文章信息

论文名称:MSHTrans: Multi-Scale Hypergraph Transformer with Time-Series Decomposition for Temporal Anomaly Detection

论文作者: Zhaoliang Chen、Zhihao Wu、William K. Cheung、Hong-Ning Dai、Byron Choi、Jiming Liu

图片

研究背景

时间序列异常检测在工业监控、医疗诊断、金融风险管理等多个现实领域中是一项基础且关键的任务。随着时间序列数据呈现出大规模、多源异构和多模态模式等特点,现有无监督异常检测方法面临两大核心挑战:

  • 对时间戳间复杂的短期和长期依赖关系探索不充分。

  • 缺乏能够联合学习短期模式与长期时间特征的集成框架。

现有方法中,预测类模型对时间模式快速变化的适应性有限,而重构类模型虽受关注,但基于固定图的方法难以动态学习邻接关系,且无法全面描述时间戳间的复合关联。

因此文章提出了一个多尺度超图Transformer——MSHTrans以解决上述出现的问题。

图片

模型框架

MSHTrans 是一种新颖的多尺度超图 Transformer 模型,可以通过自适应超图学习和时间序列分解分析,充分利用时间序列中的短期和长期相关性,实现有效的时间序列异常检测。核心架构有三个主要部分:

图片

多尺度窗口生成器:通过 1D 卷积和下采样操作,从输入窗口生成多尺度窗口数据,以捕捉不同 granularity 的潜在特征。低尺度窗口用于探索细粒度时间关系,高尺度窗口用于捕捉粗粒度时间关系。

图片

超图 Transformer:

  • 可训练超图:通过可训练的节点嵌入和超边嵌入计算基于相似度的超图关联矩阵,初始构建短期时间戳邻接关系,训练中不断更新以发现未知的长期和短期依赖。

    图片

  • 尺度内超图注意力:采用图注意力机制聚合每个节点的嵌入,生成注意力加权的超图关联矩阵。

  • 多头超图卷积:通过多头超图卷积融合多视角特征,其中每个头的输出通过特定卷积操作计算。

    图片

  • 超图学习约束:包括拉普拉斯约束(确保跨尺度特征一致性)、超边约束(使学习的超边嵌入与原始超边特征一致)和节点约束(使学习的节点嵌入与原始超边特征一致)。

时间序列分解模块:采用离散傅里叶变换将输入序列从时域转换到频域,提取季节性成分;利用平均池化捕捉趋势成分,通过季节和趋势融合模块得到进化时间序列特征。

图片

图片

多尺度超图融合过程:

特征融合:对各尺度学习到的特征进行上采样,使所有尺度输出具有相同维度后直接相加得到融合表示。

超图融合:整合多尺度超图,得到包含点式和组式交互信息的融合超图。

实验数据

图片

图片

数据集:采用 SWaT、WADI、MSL、SMAP、SMD 等基准数据集,涵盖水监测、航天器监测、服务器监测等多个领域,并生成合成数据集用于可视化。

对比模型:与 DAGMM、LSTM-VAE、MSCRED、OmniAnomaly、MTAD-GAT 等 9 种主流模型进行比较。

评价指标:以 F1 分数作为评价指标,同时提供有无点调整(PA)的结果。

图片

图片

主要实验结果:

  • MSHTrans 在大多数场景下优于基线方法,无 PA 时平均性能提升 8.21%,有 PA 时提升 3.52%。在 SWaT 数据集上,F1 分数分别达到 0.776(无 PA)和 0.936(有 PA)。

  • 可视化结果显示,MSHTrans 能准确检测点异常和序列异常,异常发生时精细重构失败,异常分数升高。

  • 消融研究表明,超图 Transformer 模块对性能影响最大,移除后平均性能下降 31.86%;3 个尺度足以实现良好性能,窗口大小超过 40 后性能趋于稳定。

  • 参数敏感性分析显示,适度的k值和更新率有助于获得最佳性能。

  • 模型具有较低的检测延迟和合理的训练时间,适用于实际场景。

图片

图片

小小总结

MSHTrans 通过多尺度超图建模和时间序列分解,有效捕捉短期与长期时间依赖,在时间序列异常检测任务中表现优异。未来将探索跨尺度依赖和非线性关系的建模方法。

2025顶会前沿时序合集,简介处关注,回复关键字即可自取~

关注小时,持续学习前沿时序技术!

Logo

魔乐社区(Modelers.cn) 是一个中立、公益的人工智能社区,提供人工智能工具、模型、数据的托管、展示与应用协同服务,为人工智能开发及爱好者搭建开放的学习交流平台。社区通过理事会方式运作,由全产业链共同建设、共同运营、共同享有,推动国产AI生态繁荣发展。

更多推荐