用于时间序列分类的集成深度神经网络

题目：

Deep Neural Network Ensembles for Time Series Classification

作者：

H. Ismail Fawaz, G. Forestier, J. Weber, L. Idoumghar, P. Muller

来源：

Accepted at IJCNN 2019

Machine Learning (cs.LG)

Submitted on 15 Mar 2019

文档链接：

arXiv:1903.06602

代码链接：

https://github.com/hfawaz/ijcnn19ensemble

摘要

深度神经网络已经给计算机视觉和自然语言处理等许多领域带来了革命性的变化。受到最近这一成功的启发，深度学习开始在时间序列分类(TSC)方面显示出有希望的结果。然而，神经网络仍然落后于目前最先进的TSC算法，这些算法目前由37个基于非深度学习的分类器组成。我们将这种性能上的差距归因于TSC缺乏神经网络集成。因此，在本文中，我们展示了一个由60个深度学习模型组成的集成如何在UCR/UEA存档(时间序列分析的最大公开基准)上评估TSC神经网络当前最先进的性能，从而显著提高TSC的性能。最后，我们展示了我们提出的神经网络集成(NNE)是第一个时间序列分类器性能超过COTE，同时达到与当前最先进的集成HIVE-COTE性能相似的性能。

要点

图1:深度卷积神经网络集成用于时间序列分类。

表I:构成用于UCR/UEA档案中85个数据集的时间序列分类的神经网络集成。

图2:临界差分图，展示了10个随机初始化的ResNet与一个由这10个独立神经网络组成的ResNet集成的两两统计比较。

图3:临界差分图，显示了由10个随机初始化组成的6个体系结构总体和包含6个模型的一个总体的两两统计比较。

图4:神经网络集成(NNE)由ResNet、FCN和编码器明显优于纯ResNet的集成。

图5:临界差分图，显示了当前最先进的算法与添加到池中的神经网络集成(NNE)的两两统计比较。

图6:与从零开始训练的随机初始化FCN模型相比，经过微调的模型的总体效果要好得多。

英文原文

Deep neural networks have revolutionized many fields such as computer vision and natural language processing. Inspired by this recent success, deep learning started to show promising results for Time Series Classification (TSC). However, neural networks are still behind the state-of-the-art TSC algorithms, that are currently composed of ensembles of 37 non deep learning based classifiers. We attribute this gap in performance due to the lack of neural network ensembles for TSC. Therefore in this paper, we show how an ensemble of 60 deep learning models can significantly improve upon the current state-of-the-art performance of neural networks for TSC, when evaluated over the UCR/UEA archive: the largest publicly available benchmark for time series analysis. Finally, we show how our proposed Neural Network Ensemble (NNE) is the first time series classifier to outperform COTE while reaching similar performance to the current state-of-the-art ensemble HIVE-COTE.