使用轻量级神经网络和PCA对工业控制系统进行高效的网络攻击检测

原文
Efficient Cyber Attack Detection in Industrial Control Systems Using Lightweight Neural Networks and PCA
申明
版权归原文作者及出版单位所有，如有侵权请联系删除。

关键字：
异常检测，工业控制系统，卷积神经网络，自动编码器，频率分析，对抗性机器学习，对抗性稳健性

摘要

​ 工业控制系统（ICSs）被广泛使用，对工业和社会至关重要。它们的故障会对经济和人类生活产生严重影响。因此，这些系统已经成为物理和网络攻击的一个有吸引力的目标。在这篇文章中，我们研究了一种基于简单和轻量级神经网络的攻击检测方法，即一维卷积神经网络和自动编码器。我们将这些网络应用于数据的时域和频域，并讨论了每种表示方法的优点和缺点。我们在三个流行的公共数据集上对建议的方法进行了评估，达到了与以前公布的检测结果相匹配或超过的检测率，同时显示了小的足迹、短的训练和检测时间以及通用性。我们还展示了PCA的有效性，考虑到适当的数据预处理和特征选择，它可以在许多情况下提供高的攻击检测率。最后，我们研究了所提出的方法对对抗性攻击的鲁棒性，这些攻击利用神经网络的固有盲点来逃避检测，同时实现其预期的物理效果。我们的结果表明，所提出的方法对这种规避攻击是稳健的：为了规避检测，攻击者被迫牺牲了对系统的预期物理影响。

1. 简介

​ 工业控制系统(ICS)，也被称为监控和数据采集(SCADA)系统，将分布式计算与物理过程监控相结合。它们由提供来自物理世界（传感器）和影响它的元素（执行器）的反馈，以及处理反馈数据并向执行器发出指令的计算机和控制器网络组成。许多ICS是安全的关键，干扰其功能的攻击会造成巨大的经济和环境损害。并危及到人们。

​ ICS的重要性使其成为有吸引力的攻击目标，特别是网络攻击。近年来已经报道了几起影响较大的事件，包括对乌克兰电网的攻击[1]，针对伊朗核离心机的臭名昭著的Stuxnet恶意软件[2]，以及对一家沙特石油公司的攻击[3]。过去，ICS在物理上安全的地方运行在专有的硬件和软件上；最近，它们采用了远程连接和通用的信息技术（IT）堆栈，这一趋势使ICS面临着利用现有攻击工具的网络威胁。然而，ICS防御者的工具箱是有限的由于需要支持没有现代安全功能的传统协议，以及终端的不当处理能力。这些问题可以通过使用传统的基于IT网络的入侵检测系统（IDS）来识别恶意活动来解决。然而，鉴于对ICS的已知攻击很少，这种方法是无效的。另外，人们提出了基于模型的方法来检测ICS的异常行为[4], [5], [6], [7]。不幸的是，为复杂的物理过程建立一个准确的模型需要对系统及其实施的深入了解，而且费时费力，难以扩展。因此，最近的研究利用机器学习（ML）对系统进行建模。一些研究使用了有监督的机器学习[8]，[9]，并取得了高精确度的结果。使用监督学习，良性和恶意数据都必须存在并被标记；因此它仅限于已知攻击。相比之下，无监督学习用未标记的数据进行训练，假设大部分数据是正常的。半监督学习将未标记的数据与一些监督信息[10]相结合，通常是以标签的形式，针对数据的一个小子集。在这项工作的背景下，半监督学习假定训练数据代表正常的系统行为，不包含攻击。

​ 为了克服监督学习的局限性，其他研究使用无监督和半监督的深度神经网络（DNNs）来检测ICS数据中的异常和攻击[11]、[12]、[13]、[14]、[15]、[16]。Kravchik和Shabtai[17]建议使用基于1D CNN的半监督神经网络（NN），并证明了在SWaT数据集中检测到36次网络攻击中的31次[18]。

​ 尽管这些研究取得了一些成就，但也存在一些局限性。首先，它们通常是在一个单一的数据集上验证的，限制了解决该方法的遗传性和在其他场合的适用性的能力。其次，这些研究几乎没有涉及对输入数据进行适当预处理和进行特征选择的需要，这是一个可能对性能产生重大影响的重要步骤。在一些研究中，提议的模型被选择性地应用于一个特征子集[11]，[19]。还有一些研究将不同的检测机制应用于不同的特征[13]。然而，仍然缺乏统一的、系统的特征选择的定量标准。第三，我们认为，这些方法检测许多攻击的能力是有限的，因为它们侧重于处理时域信号。最近，电磁侧通道监测研究证明了频域分析在恶意代码检测中的有效性[20]。这个领域的优点包括去除噪音和对慢速攻击或加速受控过程的攻击（如Stuxnet案例）的敏感性，而在时域中很难检测到。最后，大多数使用神经网络的研究没有考虑对所提方法的对抗性攻击。

1.1 问题描述

​ 我们研究中假设的威胁模型考虑了一个强大的对手，其目标是改变目标ICS的一个物理层面的过程。该对手已经渗透到系统中，并能够伪造感官数据，向执行器发送恶意命令，并通过操纵现场过程和控制中心之间的网络跟踪，向系统的操作人员展示一个虚假的系统状态。一个能够完全伪造系统状态的攻击者几乎不可能被发现，但是攻击者不太可能有能力控制整个系统（即所有的传感器、执行器、PLC）。因此，我们考虑一个只能伪造部分信息的攻击者。

​ 我们的目标是开发一个异常和攻击检测（AD）系统，该系统可以根据收集到的受保护ICS的物理过程状态的数据来识别这种攻击者的活动。我们假设攻击者意识到AD系统的存在，并将试图在逃避检测的同时实现他/她的目标。

​ 我们的研究旨在解决以下研究问题。

1) 我们能否提出一种基于轻量级神经网络或PCA的有效而准确的ICS异常检测方法？
1) 所提出的方法在多种环境和数据集中是否通用和有效？
1) 异常检测特征的选择应该使用什么量化标准？
1) 与时域检测相比，频域检测是否有任何好处（即检测率更高、误报更少）？
1) 所提出的NN架构对对抗性机器学习攻击的鲁棒性如何？

1.2 贡献

​ 在本文中，我们提出了一种在物理级ICS数据中检测异常和网络攻击的方法，使用1DCNN、浅层不完全自动编码器（UAE）、变体自动编码器（VAE）和PCA。该方法在[17]中提出的方法基础上进行了改进，允许任意长度的序列预测和任意预测范围，增加了一个基于最大值的阈值检测方法，并正式确定了检测超参数标准。此外，我们提出了一种使用Kolmogorov-Smirnov检验的特征选择方法，并使用短时傅里叶变换和能量分档将时域信号转换为频率表示，并在时域和频域对系统进行建模。

​ 该方法在代表真实世界和模拟数据的三个流行的公共数据集（SWaT、BATADAL、WADI）上进行了评估，并取得了比以前在该领域发表的研究更好的检测性能。此外，我们证明了所提出的特征选择方法的有效性和它的通用性。

​ 最后，评估了所提出的方法在已经获得传感器数据控制权的白盒攻击者的威胁模型下对对抗性规避攻击的鲁棒性。结果显示了该方法的复原力：为了逃避检测，攻击者必须放弃他/她对系统进行物理影响的目标。

​ 本文的主要贡献有以下几点。

​ • 使用一维CNN、浅层UAE、VAE和PCA检测ICS数据中的异常和网络攻击的有效和通用方法。

​ • 一种基于Kolmogorov-Smirnov检验的稳健特征选择方法及其有效性的实验验证。

​ • 上述检测方法在频域的有效和新颖应用。

​ • 对所提出的检测方法进行对抗性规避攻击的算法，并证明所提出的模型对这种攻击的鲁棒性（据我们所知，这是第一个涵盖对一维CNN和AE的对抗性攻击的研究，并考察其在这种威胁模型下的鲁棒性）。

2. 背景介绍

2.1 工业控制系统

​ 一个典型的ICS结合了网络连接的计算机和物理过程，这些物理过程既由这些计算机控制，又向计算机提供反馈。ICS的关键组件包括传感器和执行器，它们被连接到本地计算元件，通常称为可编程逻辑控制器（PLC）。

​ 传感器和执行器通常用电缆直接连接到PLC上，命令通过本地网络协议（如CAN、Modbus或S7）发送到PLC上。远程节点的PLC由网络的控制段管理，并通过协议，如TCP，通过无线、蜂窝或有线网络与之连接。控制网段的一个核心要素是运行SCADA软件的工程工作站，它提供了监控PLC和改变其内部逻辑的手段。人机界面（HMI）计算机是控制部分的另一个重要元素为操作员提供当前的控制过程的状态。一个收集和储存PLC数据的历史服务器也位于控制部分。

图1 ICS架构和可能的攻击载体

2.2 对ICS 攻击和威胁模型

​ ICS在关键基础设施、医疗设备、运输和其他社会领域的核心作用使其成为有吸引力的攻击目标。这种攻击的动机多种多样，包括犯罪分子寻求对重要资产的控制、工业间谍和破坏、政治侦察、网络战争和隐私规避。

​ 几个攻击载体，或它们的组合，可以是 例如，一个对手在攻击ICS时，可以使用以下方法。

​ 1.通过利用软件漏洞，在人机界面的机器上进行攻击。它在其操作系统和应用程序堆栈中，呈现出一个虚假的进程视图，并导致操作员发出错误的命令[21]。

​ 2.通过利用软件漏洞和获取的信息，在SCADA和/或工程工作站的机器上进行攻击。 对ICS的完全控制，正如在攻击中发生的那样在乌克兰[1]。

​ 3.在控制段的通信网络中通过进行窃听、重放或虚假的数据包注入攻击，在远程网段或它们之间进行攻击。

​ 4.通过利用软件漏洞或PLC和SCADA之间的信任，攻击者可以改变PLC的逻辑，影响受控过程并造成破坏，如Stuxnet案例。

​ 5.如[22]所示，通过利用物理效应，干扰测量，或用恶意的传感器来取代传感器。

​ 6.如[23]所述，通过改变执行器向受控过程发送的信号，来改变执行器；或者。

​ 7.如[24]中所展示的那样，执行器和通信通道创建了一个隐蔽的通道。

本研究中假设的威胁模型考虑了对手的最终目标，无论攻击是什么向量，是一个物理层面的过程变化。所考虑的对手已经渗透到系统中，能够伪造传感器数据，向执行器发送恶意命令，并通过操纵现场过程和控制中心之间的网络流量向其操作者展示一个虚假的系统状态。我们假设攻击者只能伪造部分信息。

​ 因此，我们采用了基于物理学的攻击检测[23]方法。这种方法的主要思想是对受保护系统的物理状态进行建模。使用NN建模不需要定义描述系统的具体方程和参数，因为NN会自己学习最佳的系统表示。监测物理系统状态和与模型的偏差有助于检测异常行为，包括由欺骗性的传感器读数和注入的控制命令引起的偏差。

​ 尽管我们的异常检测领域是纯物理的，但我们认为我们的方法超越了简单的异常检测。正如我们所展示的，它可以检测复杂的多点网络攻击，这些攻击结合了数据篡改、恶意命令和重放攻击。这些攻击是有针对性的、规避性的，并通过网络领域的手段进行。因此，我们将该方法归类为网络攻击检测。

2.3 时域-频域转换

​ ICS传感器测量的原始数据会产生一个时间序列。虽然在大多数ICS异常和攻击检测研究中，这些数据被直接处理，但在信号处理中，在频域分析数据是非常常见的。使用傅里叶变换（公式（1）），我们可以建立一个信号的频域表示。

​ 其中f是某个取决于时间x的函数，f^是其四-傅立叶变换，而k是频率。当处理周期性数据样本，而不是连续函数时，要使用离散傅里叶变换。

其中fn 表示f的第n个样本。

​ 时间序列的傅里叶变换提供了它在整个测量时间段的频谱。为了检测信号频谱随时间的变化，我们使用短时傅里叶变换（STFT），将傅里叶变换应用于时间序列的短重叠段。

图2 异常情况检测的频域转换效益。

​ 上面信号中突出显示的部分，其频率比信号的其他部分小25%。这种差异在时域中几乎是无法辨别的，但在频域中（底部）却明显突出。

​ 频域分析有几个优点。首先，它提供了一个更紧凑的主导信号成分的表示。其次，它允许检测常规操作模式的频率被改变的攻击，例如，快速启动和停止发动机。最后，根据不确定性原理[25]，在时域中定位的函数（如用短尖峰表示）会分散在许多频率上，而集中在频域的函数会分散在时域上。这意味着，缓慢的攻击，即通常逃避时域检测的方法会在频率分析中脱颖而出，但快速攻击将很难在频域中发现。

​ 作为一个例子，考虑一个传感器报告一个常规的正弦信号，而对手在一段时间内将信号频率降低25%，将其作为一个秘密通道。这种变化在传感器中几乎不可能被察觉。

虽说是时域，但在频率上会有非常明显的区别。域，如图2所示。

2.4 对机器学习模型的对抗性攻击

​ 对抗性数据由专门制作的输入样本组成，这些样本会使算法在测试时产生错误的结果。自从[26]表明基于NN的分类器可以通过以人眼无法察觉的方式改变少量的像素而被诱骗对图像进行错误标记以来，DNN中的对抗性学习领域已经引起了人们的兴趣。从那时起，对NN的对抗性攻击已经在恶意软件检测、语音分类等方面得到证实。

​ 对抗性的机器学习攻击可以分为在训练时进行的中毒攻击和在测试时进行的规避攻击。为了给对抗性攻击建模，我们需要考虑攻击者的目标和知识。在[27]中，目标被细分为期望的侵犯（完整性、可用性或隐私）和特异性（针对一组输入或所有输入，以及产生特定的错误输出或只是任何错误的输出）。在异常检测的背景下，攻击者的目标可能是使系统将异常分类为良性（特定的完整性攻击），或将许多良性样本分类为异常，以影响对检测结果的信任能力（不加区分的可用性攻击）。

​ Biggio等人[27]用训练数据D、特征集X、算法f及其目标函数L、训练超参数和检测参数w来定义攻击者的知识。在我们的研究中，X是用于训练模型的传感器和执行器状态集，而f和L代表所选择的NN架构及其损失函数。因此，攻击者的知识由以下部分表示ðD; X; f; wÞ。最坏情况下的完全知识白盒情况发生在所有四个组成部分都知道的情况下。灰盒攻击发生在至少有一个组件是未知的，并且不能被复制；例如，攻击者可能知道特征集和NN类型，但不知道网络参数和权重。黑盒攻击的特点是缺乏对四个组成部分中任何一个的具体了解。我们将在下一节回顾ICS异常检测方面的对抗性攻击的相关研究。

3. 相关工作

​ ICS中的异常和入侵检测领域已被广泛研究。大量的调查[28]、[29]、[30]、[31]和调查的调查[32]专门对该领域的研究进行分类。我们对相关工作的回顾主要集中在使用传感器测量的系统物理状态的ICS异常和网络攻击检测。如[23]所述，基于物理学的检测的第一步是系统状态预测。一些研究使用自回归模型[33], [34]或线性动态系统建模[35], [36]。[37]用于此目的。不幸的是，这两种方法的假设都包括建模系统的线性，这在ICS中通常是不被满足的。

​ 最近，基于ML的建模在ICS研究中开始流行。PASAD[19]是基于奇异样本分析的思想，检测代表时间序列确定性部分的信号子空间中的攻击。我们的方法和PASAD的主要区别在于我们的方法能够根据多个输入特征的相互关系来检测异常，而PASAD只处理一个特征。

​ 在最近一次关于输水系统网络攻击检测的比赛中（BATADAL[41]），七个团队在模拟数据集上展示了他们的解决方案。最好的结果是由[42]的作者展示的，他们用MATLAB精确地修改了系统。这个解决方案的主要局限性是它依赖于创建一个精确的系统模型的能力，这是一个非通用的和困难的任务。另一项在竞赛中取得高分的工作是[14]，作者在其中提出了一个三层方法：第一层检测统计异常，第二层是一个旨在寻找与正常操作不一致的NN，第三层对所有传感器数据使用主成分分析（PCA）将样本分类为正常或不正常。我们的工作在以下方面与[14]不同。首先，我们研究了一个单一的通用机制的效率，而不是[14]所使用的多阶段系统。其次，我们的解决方案评估了[14]中没有涵盖的NN类型。最后，我们研究了特征选择标准、频域异常检测和对抗性稳健性。

​ BATADAL竞赛中另一项基于NN的研究是[15]，它使用变异自动编码器（VAE）来计算数据的重建概率。 在我们的在研究中，我们发现VAE在重建时间序列数据方面不是很准确。因此，我们建议使用更简单的自动编码器模型，并证明其有效性。在这一任务上的有效性。

​ NN已经被用于其他基于物理学的网络攻击中。检测研究（[11], [12], [13], [43]）。与我们的工作不同，这些研究使用了更复杂的循环神经网络（RNN）和图形模型，并没有研究频域。自动编码器（AEs）之前已经被用于异常和入侵检测[44], [45]。我们的工作与[44]的不同之处在于，在我们的研究中，(1)AE被应用于原始物理信号，没有统计特征提取，以及(2)AE被应用于频域。我们扩展了[45]中的研究，将AEs应用于在时间序列中进行网络攻击检测，结合控制、监视和原始物理数据，以及通过在频域中应用AEs。我们还加强了网络的架构，并提出一种提高网络性能的特征选择方法。

​ Taormina等人的研究[16]将AEs应用于BATA- DAL数据集，该方法能够检测到所有的攻击，并达到0.886的F 1分。我们的研究区别于本报告在以下方面与该研究有所不同。首先，我们在三个不同的数据集上研究了一维CNN和AE，其中两个来自真实世界的测试平台。第二，我们使用不同的AE架构，该架构适应于多变量时间序列预测，使用噪声和膨胀层，并取得了较高的F 1得分。第三，我们研究频域检测。最后，我们提出了对拟议网络的对抗性攻击，并证明了该网络的稳健性。

​ 很少有人关注ICS背景下的对抗性攻击，我们的研究与大多数对抗性研究领域（图像和声音处理）的工作之间存在一些差异。

​ • 大多数现有的工作都集中在有监督的学习问题上，而我们的研究涉及半监督的学习问题。

​ • 大多数现有的工作都集中在分类任务上，而我们处理的是预测（回归）任务。

​ • 虽然在图像分类等任务中，输出变量（图像类别）不是输入的一部分，但在我们的任务中，输入和输出特征是相同的，而且

​ • 在我们的案例中，由于物理定律和PLC逻辑，对数据的内部结构有多种约束，这在其他领域是不存在的。

在[46]中展示了一个成功的机器学习异常检测的规避攻击框架。作者通过操纵传感器的测量值，将一个受监控的模拟田纳西-伊士曼（TE）过程带到了一个危险的压力水平，而这种方式被线性回归和前馈NN列为正常。这项研究与[46]的不同之处在于被攻击的NN检测器的类型、系统建模方法和对抗性攻击策略–我们使用最先进的基于梯度的对抗性优化，而[46]的作者使用检测器的迭代线性近似。

​ 在[47]中，作者使用生成式对抗网络（GAN）对ICS进行了隐蔽的攻击，逃避了基线LSTM异常检测器。在我们的研究中，我们针对不同类型的NN检测器，并使用基于梯度的优化来生成攻击，与[47]不同的是，我们使用GANs，它很复杂，很难训练。

​ 最近，Erba等人[48]展示了如何创建针对基于自动编码器的检测机制的成功规避攻击。[48]和我们的方法之间的主要区别是选择的威胁模型。[48]的作者考虑了一个非常强大的攻击者，它既可以生成任意的恶意输入到PLC，又可以创建虚假流量，并将其输入到检测器。我们考虑的是一个更受限制的攻击者，他只能控制PLC和检测器看到的传感器数据。我们认为，我们的威胁模型代表了一个更真实的场景，正如第4.7节中所阐述的。表1总结了相关研究，并将其与我们的研究进行了比较。

4. 方法论

4.1 正式的定义

​ 考虑一个包含N个测量元素（即传感器和执行器）的ICS。s1 ；s2 ；…；sN 。传感器的测量值和执行器的状态由N维向量yi 2 RN 表示，其中yi 包含i时间的特征值，ys 是i时间的传感器（或执行器）s的值。ICS在给定时间的物理状态yi 是其过去状态yi-1 ；yi-2 的函数f 2 F；机器学习模型接近通过产生估计值来弥补这一功能

请注意，方程3中提出的单向量预测可以进一步概括为多向量预测（如4.5节所述）。

​ 我们建议的特征选择方法是基于Kolmogorov-Smirnov检验。差与一些检测超参数u进行比较，如果在时间i检测到异常，则返回1，否则返回0。在我们的方法中，使用了两个检测超参数：阈值t和窗口w；在第4.5节中，我们提供了函数A的精确定义（由公式（11）呈现）。

​ 让我们考虑一个对手，他的目标是在时间i上破坏一个传感器s的测量值，并将其设置为某个范围内的值，以引起攻击者的预期效果。例如，将水箱水位设置为700毫米以上导致系统打开水泵，有可能造成水箱内的水溢出。攻击者的目标是在不触发异常检测警报的情况下引入变化，这可能需要攻击者在时间i或攻击前后的其他时间改变其他传感器的值。形式上，让Dtest 表示测试集，ys 2 D是传感器测量的值the攻击者想要改变的，d是攻击者增加的总扰动。攻击者的目标是找到一个最小的扰动，既能使ys 进入期望值范围，又不会导致函数A的任何警报（见公式（4））。此外，被扰动的数据集必须符合特征的范围约束，为了简洁起见，我们在下面的等式中省略了这一点。

其中sal 和sau 是所需攻击范围的下限和上限。为了便于参考，我们在表2中提供了本节使用的符号清单。

4.2 方法概述

​ 在这一节中，我们对所提出的方法进行了概述。该方法的步骤如图3所示。输入数据包括被监测系统的传感器和执行器数值的时间序列。数据首先被归一化（图3中未显示）。在训练阶段，归一化的训练数据进入传感器（特征）选择步骤（步骤（1））。对于每个特征，我们计算修正的Kolmogorov-Smirnov统计量（见第4.3节），以选择具有一致proba-bility分布的特征。被选中的特征将被学习算法所模拟。特征选择应该在训练模型之前进行，通过使用训练和验证集，并比较这两组的统计数据。为了保持检测的准确性，可以在检测阶段对特征的 一致性进行定期验证，如果检测到明显的变化，可以对模型进行重新训练。在步骤（2）中，所选特征的数据可以被转换到频域，如第4.4节所述（注意这是一个可选的步骤）。然后，在步骤（3）中，学习算法使用所选特征的数据，无论是在时间域（原始值）还是频率域（当步骤(2)进行)，以训练一个代表特征的模型。本研究中使用的学习算法将在第4.5.1和4.5.2节中讨论。如第4.6节所述，在验证数据上测试训练好的模型，并确定异常检测超参数（检测阈值和窗口）。在检测（测试）阶段，首先根据在特征选择阶段选择的特征对归一化的测试数据进行过滤（步骤（5））。如果模型是在基于频率的特征上训练的，那么归一化的、经过过滤的测试数据被转换到频域（步骤（6））。然后，将归一化选择的特征的时域或频域表示传递给训练好的模型（步骤（7）），并根据特征的预测值和观察值与预先定义的阈值和窗口之间的差异检测攻击（步骤（8））。这些步骤将在下面的小节中描述。

图3 方法的流程概述。

图4 特征统计学比较。LIT101（第一行）在训练和测试数据中都有非常相似的分布。(第二行）有一个类似但略微偏移的分布。它的K-S值很高，但它的K-S*值正确地将分布分类为接近。AIT201（第三行）的分布非常不同。

4.3 使用K-S测试选择特征

​ 我们的检测机制是基于对系统行为的建模和预测能力。如果数据满足以下要求，就可以做到这一点：训练数据必须是测试数据的代表；更具体地说，它应该包含测试数据中出现的所有（潜在）状态和状态间的转换。因此，我们的异常检测方法是基于这样的假设（在异常检测中很常见[50]）：正常的测试数据具有与训练数据相同的概率分布（只有异常分布不同）。然而，我们发现几个SWaT特征在训练和测试数据中的分布并不相同（见图4），这可能是一个概念漂移的结果。为了找到稳定的特征，我们使用KolmogorovSmirnov检验（K-S检验）[51]作为衡量训练和测试数据的概率分布相似性的定量指标。我们选择了K-S检验，因为它是非参数化的，不基于任何关于被测概率分布的假设。它也比比较平均数和标准差或使用t检验更敏感，这两种方法对多模态和非正态分布的效果都不好。虽然特征选择步骤的目标是确定在训练和测试集中稳定的特征。然而，在许多机器学习任务中，真正的测试集被认为是未知的。在这种情况下，可以使用验证集进行特征选择，其中验证集近似于测试集。我们在第5.3节中介绍了使用K-S测试对验证集和测试集的比较评估结果，以及一种替代的特征选择方法。两个分布的K-S测试统计量是它们的经验累积分布函数（ECDFs）之间的最大差异。

图5 L_T1特征的频率变换。第一行描述的是原始信号。第二行表示STFT频谱（左）和频谱带中的功率密度分布（右）。最后两行是频域特征；大部分的功率密度在前两个频段。

其中F1 和F2 是比较分布的ECDF。它们可以被计算为

其中

​ 原始的K-S测试仅限于完全指定的分布[52]，然而我们对其稍作修改，以获得一个精确的指标来过滤掉不适合建模的特征。当分布的平均值在X轴上稍有偏移时，使用最大值作为统计量使得K-S测试对小的CDF差异非常敏感。为了提高测试的稳健性，我们使用了CDFs之间的面积来代替，其计算方法为。

​ 图4显示了三个SWaT特征，它们随时间变化的值，直方图，以及K-S和K-S统计，提供了一个K-S**统计比原始K-S统计的优势的例子。LIT101（第一行）的训练和测试数据的如CDF图（左栏）和直方图（中栏）所示，AIT401的分布非常接近，AIT401（第二行）的分布也很接近。然而，AIT401的K-S统计量比LIT101的大10倍左右。使用两个CDF曲线之间的面积（K-S*）而不是它们之间的最大距离（K-S），可以让我们得出结论，这个特征是稳定的，并将其留在实验中。

4.4 频域转换

​ 在我们的实验中（见第5节），我们探索并评估了频域特征在检测攻击中的作用。因此，除了测试时域特征（即传感器随时间变化的数值）外，在这一步中，我们将信号从时域转换到频域。下面的方法被用来在频域中创建信号表示（概述于算法1）。

1. 使用离散快速傅里叶变换（DFVT）确定每个信 号 的 主 导 频 率 （ 能 量 最 大 的 频 率 ） （frequencyAnalysis函数，在第1-13行描述，在第18行调用）。

2. 根据主导频率周期确定短时傅里叶变换（STFT）的窗口。结果发现，最佳窗口是在主导频率的一到两个周期之间（第19行）。

3. 将信号转化为其频率表示。

   a) 将整个信号分成重叠的窗口。

   b) 对每个窗口进行STFT（这两个项目由第20行调用频谱图功能来呈现）。

   c) 将整个STFT频谱二进制化为若干个bin。计算每个仓中信号的总能量值（第21-23行）。

   d) 选择一小部分具有最多能量（第24行）。能量值将代表相应时间窗口在频域的特征。我们发现，两到三个频段足以代表ing的特征。也可以根据它们所包含的总能量值的百分比来计算仓的数量（例如，至少是90％）。

​ 图5也说明了这一过程，它显示了来自BATADAL数据集的L_T1传感器的原始信号，其频谱图，以及代表L_T1读数在能量最大的两个频段内随时间变化的功率密度的两个特征。

4.5 数据建模

​ 以下四种方法被用来建立感性的模型。通过在时域或频域的特征上训练模型，可以获得更多的数据。

1. D CNN–使用[17]中描述的架构。

2. UAE–使用不完全自动编码器的修改版，这在本节后面（第4.5.1节）有描述。
3. VAE–使用标准的变异自动编码器（VAE）结构，并增加了UAE方法中使用的信息层；以及。
4. PCA–使用本节后面（第4.5.2节）描述的原理成分分析（PCA）算法的两种模式。

4.5.1 不完整的自动编码器

​ 在试验了多种AE架构，包括基于LSTM的AE、变异AE和变性AE之后，我们发现，最好的检测性能是由最简单的不完全AE实现的。我们在这里描述了所选择的UAE结构，并在第5.4节中对结果进行了比较。最好的结果是使用适合于多变量序列重建的UAE网络变量实现的。修改后的阿联酋的网络包含以下内容。

​ • 一个可选的腐败层，对输入序列施加高斯噪声。

​ • 一个全连接层，具有ReLU或tanh激活函数，对输入进行膨胀；该层的目的是扩大假设空间。

​ • 编码层对输入进行扁平化处理，用输入大小的一小部分产生其紧凑表示；在我们的实验中，最好的结果是用输入大小的50%的紧凑表示来实现。

​ • 解码层，从其紧凑的表示中重建原始序列。

这种结构可以处理任意长度的序列，并在图6中展示。

图6 本报告中使用的不完全自动编码器的结构研究。

4.5.2 主成分分析

​ 主成分分析（PCA）将一组变量转化为一组线性不相关的主成分（PC）的值，彼此正交。我们用PCA作为基线来比较神经网络的性能。在ICS中使用PCA进行异常检测并不新鲜；在[14]中，它被建议作为检测层之一，[45]使用它来检测模拟的Lorenz系统和遥测数据中的异常情况。在[14]中，检测是在PC子空间进行的。在这个子空间中发现的异常现象在原始数据特征空间中没有直接的物理意义，因此很难解释和说明。在我们的研究中，我们使用了算法2中概述的方法。

​ 我们的分析将预测恢复到原始图像空间，因此，与之前提出的使用PCA进行异常检测的方法不同，我们的方法允许自然应用我们用于神经网络的检测方法（如下所述）。为了将这种检测方法与PC子空间的检测方法区分开来，我们在第5节中将其称为PCA-重构。我们实现了对经典PCA分析的扩展。PCA通常在单一时间步长的向量上运行。这允许检测多个特征之间的上下文不一致，但在检测单个特征中与时间有关的不一致方面却不那么强大。为了弥补这一不足，我们实施了一个窗口化PCA算法(类似于[53]），它将数据划分为给定宽度的时间窗口，对包含多个数据点的向量进行算法2中描述的分析，然后将窗口预测值恢复为原始信号形状。该窗口化PCA算法的两个变体被实现：重叠窗口和非重叠窗口。我们的实验以Python scikit-learn软件包中的标准PCA算法为基础，该算法的分量数等于建模特征的一半。

4.6 阈值调整、一场检测和评分方法

​ 本研究中使用的异常检测方法是基于[17]中使用的方法，然而在目前的研究中，我们以多种方式对其进行了扩展，下面将详细介绍。

​ NN或PCA被用来根据以前的值（在时域或频域）预测数据特征的未来值。因此，该网络执行的功能是

​ 其中l和m分别代表输入和输出序列的长度，h是预测水平线。我们对[17]中描述的方法进行了简化，以允许在指定的范围内预测未来任意长度的序列，例如，从最后一个输入时间的第五个时间步骤开始，预测256个时间步骤。接下来，残差向量的计算方法是：。

​ 残差被用来以两种方式之一触发异常警报：基于最大的评分和基于标准的评分。

​ 基于最大值的评分。在这种方法中，残差被归一化，除以验证集数据的每个特征的最大残差，并将归一化残差的最大值与阈值t进行比较。

​ 为了防止短期偏差的错误警报，我们要求残差至少在时间窗口w的指定时间内超过阈值。因此，在时间i的异常警报Ai ，由以下因素决定。

超参数t和w是通过设定验证数据的最大可接受误报率并找到解来确定的。其中 tn 和 wn 分别是归一化为(0, 1)范围的阈值和赢余值，Aðt; wÞ是用特定的阈值和赢余值检测到的异常集合，FPmax 是允许的最大数量。

​ 验证数据中的错误警报。换句话说，我们正在寻找不会产生超过允许数量的错误警报的超参数值，同时使它们的归一化值之和最小化。使用归一化值可以使我们以相同的权重优化两个超参数（无论其绝对值如何）。最小化归一化值之和使我们能够在由阈值控制的检测灵敏度和由赢利大小控制的检测延迟之间取得平衡。

​ 基于Std的评分。这种检测攻击的方法与基于最大值的评分方法不同，它使用平均数和标准差对残差进行归一化处理（对每个特征单独处理），在[17]中有所描述。

​ 请注意，在频域检测中，各域之间的转换会将能量分散到STFT时间窗口，从而将攻击的开始时间推前，将其结束时间推后。为了补偿这种影响，我们从检测到的攻击周期的两端减去相当于STFT窗口三分之一的时间。总而言之，我们对[17]中使用的异常检测方法的扩展是。

​ • 预测的一般化，允许任意长度的序列预测和任意的预测范围。

​ • 增加一个基于最大值的方法来确定所需的阈值。

​ • 超参数选择标准的形式化。

4.7 对抗性威胁模型和稳健性

​ 分析报告除了评估性能（在我们对所提方法的检测率（如图3所述）感兴趣，也想评估所提方法对对抗性规避攻击的稳健性。因此，在这一节中，我们描述了对训练好的模型进行对抗性攻击的实施情况，用来评估该方法的稳健性。

4.7.1 威胁模型

​ 在这项研究中，我们假设了最坏的情况–白盒攻击者知道用于检测的模型的一切，包括，例如，NN的权重。我们认为攻击者试图进行特定的完整性攻击，即导致系统行为的物理层面的变化，同时不被监测异常检测系统所发现。攻击者可以影响发送到PLC的传感器的值，但不能完全控制网络，无论是在远程还是控制段。这样的攻击场景非常普遍，特别是在ICS中，传感器分布在大面积的区域，将其数据发送到位于物理保护和监控中心的PLC。

​ 在这种设置中，攻击者可以用一个恶意的传感器取代原来的传感器，对传感器重新编程，改变其校准，从外部影响传感器，或者只是通过电缆/无线连接向PLC发送虚假数据。我们认为，这种设置比攻击者更实用。控制远程部分的内部网络，甚至是控制部分的网络，这是在[48]中研究的情况。在我们的威胁模型中，攻击者的输入同时被PLC和检测系统处理；因此，攻击者的目标是产生一个输入，这个输入将同时：（1）对系统造成预期的物理影响，以及（2）足够接近检测器的预测值，以保持在检测阈值之下。

​ 我们的威胁模型的其他特点包括。(i) 攻击者可以改变多个传感器，(ii) 攻击者可以离线准备攻击；我们认为，如果系统的特征是周期性行为，攻击者可以选择攻击的时刻，并在我们的完美知识威胁模型中预先计算系统状态，(iii) 攻击后传感器的值应该在，或接近传感器值的有效范围内（例如，一个开/关传感器不能接受任何其他值）。

4.7.2 抗辩式攻击算法

​ 该模型对对抗性验证攻击的鲁棒性的评估是这样进行的。对于每个传感器欺骗攻击，我们对对抗性输入进行基于梯度的搜索，如算法3中所述。该算法的目标是搜索传感器数据的最小扰动，该扰动足以执行攻击而不被发现。该算法旨在通过最小化模型对攻击者控制的输入的损失函数值来实现攻击者逃避检测的目标（用公式（4）表示），从而使模型的预测接近攻击者的预期结果。由于损失函数是可分的，我们可以通过迭代梯度下降法解决攻击者的问题。

​ 该算法适用于一个序列预测模型，该模型使用长度为l的子序列处理输入，我们假设攻击者也知道这个子序列。使用一个单一的模型来预测多个重叠的序列会给攻击者带来额外的约束。

图7 包裹模型，允许在预测短序列的原始模型的基础上计算梯度和优化任意长输入序列的样本。

单一的模型来预测多个重叠的序列会给攻击者带来额外的约束。

​ • 每个数据点都被用于（即检查）在l子序列。

​ • 由于之前的数据点被用来预测下一个数据点，在时间t上扰动一个数据点将需要改变之前的数据点，以便在时间t上的预测将足够接近期望值；这些变化将需要在时间上传播。

​ 为了应对这些限制，我们为原始模型M创建了一个包装模型（WM）。WM将所有输入的处理，包括丰富的特征生成（如[17]）和子序列生成作为一个图，允许从模型的预测到所有原始输入的完全梯度propagation，而不仅仅是一个特定的子序列。换句话说，生成对抗性样本的每个迭代都考虑了所有使用扰动数据点的子序列的梯度。

​ 这个包装模型（见图7）在算法3中使用，具体如下。首先，该算法围绕被攻击的模型构建包装模型。然后，该算法从攻击者的预期结果开始搜索目标对抗性输入。然后，迭代地计算模型的损失函数的梯度，相对于输入rx att Lðw; xatt ; yÞ，其中w是模型参数，xatt表示输入（部分在攻击者的控制之下），y是真实测量的系统输出，L是损失函数。L是用于训练模型的相同损失函数，即MSE。梯度乘以选定的学习率，用于更新下一次迭代的对抗性输入。该算法一直进行到成功躲避检测或达到最大的迭代次数为止。请注意，我们通过减少预测残余量使其小于阈值来逼近攻击规避。这个标准可以很容易地扩展到除了阈值之外，还可以使用检测胜利。

5. 实验结果

5.1 数据集

​ 我们在评估中使用了三个常用于网络物理系统领域研究的数据集。我们在下文中对这些数据集进行了简要描述，详细描述见附录B，可在网上补充材料中找到。

5.1.1 SWaT

安全水处理（SWaT）测试平台建在新加坡科技设计大学。该测试平台是一个按比例缩小的完全运行的六级水处理厂。该数据集包含正常条件下的七天记录和四天的36次攻击[18]。

5.1.2 BATADAL

BATADAL数据集代表了一个由七个储水池组成的水分配网络，其中有11个泵和5个阀门，由9个PLC控制。该网络是 图8.三个数据集和四个数据集的特征选择方法比较用epanetCPA[54]生成，这是一个MATLAB工具箱，可以注入网络攻击并模拟网络对攻击的反应。测试数据集包含2,089条记录（来自87天的记录），有7次攻击。

5.1.3 WADI

找到另一个包含攻击的高质量真实世界网络物理数据集并不容易。最好的候选者是WADI数据集[55]，它是由SWaT的开发者从一个按比例缩小的水分配测试平台收集的。该测试平台由大型水箱组成，将水输送到消费者的水箱。该数据集包含16个攻击，其目标是停 止 对 用 户 水 箱 的 供 水 。 该数据集比 SWaT 和BATADAL数据集大得多；训练集有1,209,610个数据点和126个特征。

5.2 研究问题

在我们的评估中，我们的目标是解决以下研究问题。

​ • 问题1：提出的K-S特征选择方法是否有效，它是否有助于生成更准确的异常检测模型？

​ • 问题2：检测机制超参数对检测性能有什么影响？

​ • 问题3：对于所检查的每个数据集，每种检测机制达到的最大检测性能是什么？

​ • 问题4：我们能否提出一套超参数，使其在所考察的所有数据集上都具有高的、稳健的检测性能？• 问题5：提出的模型对对抗性规避攻击的鲁棒性如何？

5.3 数据预处理和特征选择

​ 在评估的第一阶段，我们进行了数据规范化和特征选择，如4.3节所述。我们在这个阶段的目标是评估和回答我们的第一个研究问题RQ#1。首先，特征被归一化为（0,1）尺度。然后，我们在SWaT、BATADAL和WADI数据集中评估了这些特征的稳定性。评估是通过K-S测试进行的；K-S统计量小于0.2和K-S统计量小于80的特征被选作进一步建模。为了评估所提出的特征选择方法的有效性，我们将所提出的K-S*方法产生的平均检测结果与以下方法产生的检测结果进行了比较：i）不选择特征，ii）特征使用Kullback-Leibler（KL）发散[56]进行选择，这是一种测量概率分布差异的既定方法。由于信号的真实概率密度函数是未知的，所以使用直方图作为概率密度估计器[57]。应该指出的是，Lin等人在之前的工作中也使用了直方图。

图8 三个数据集和四个数据集的特征选择方法比较模型类型，包括验证和测试数据集。上面一行是测试数据集的结果，下面一行是验证数据集的结果。

​ [13]声称使用某种形式的特征选择（试图测试信号的稳定性或一致性），但没有说明所选特征的任何定量标准，因此他们的方法不能用于比较。为了进行评估，我们根据三种选择标准的结果（即无、K-S*和KL），在两种不同的设置下，用所选择的特征训练了每种算法的相同模型：（1）使用估值集，和（2）使用测试集。请注意，我们最初的数据探索发现，BATADAL中的一个传感器（P_J280）和WADI中的一个传感器（2B_AIT_002_PV）由于数据收集过程中的故障而出现错误，因此被删除，不包括在评估中。

​ 如图8所示，验证集可以提供测试集的良好近似值。它也说明了K-S*测试比KL测试的优越性能，特别是对于SWaT。此外，与不选择特征相比，K-S和KL都能使检测得分得到明显的改善。根据测试结果，我们删除了以下传感器。AIT201, AIT202, AIT203, P201, AIT401, AIT402, AIT501, AIT502, AIT503, AIT504, FIT503, FIT504, PIT501, PIT502, PIT503来自SWaT。BATA-DAL的 P_J280 ； 以 及 1_AIT_001_PV, 1_AIT_003_PV, 1_AIT_004_PV, 1_AIT_005_PV, 2_LT_001_PV, 2_PIT_001_PV, 2A_AIT_001ǞǞ, 2a_ait_003_pv, 2a_ait_004_pv, 2b_ait_001_pv, 2b_ait_002_pv, 2b_ait_003_pv, 2b_ait_004_pv, 3_ait_pv.005_PV来自WADI。

​ 除了数据归一化和特征统计分析，我们对SWaT的训练和测试数据以5秒的速度进行子采样；选择这个速度是因为SWaT测试平台控制的水和化学过程在几秒钟内不会发生剧烈变化。这种子采样作为一种低通滤波机制，消除了一些传感器的噪声。此外，数据量的减少提高了训练速度。然而，这种子采样可能会在攻击中引入轻微的延迟（最多2.5秒）。

探测时间。对于WADI的数据集，以10秒的速率进行了子采样，然后进行了额外的低通数据过滤。这种噪音去除也有助于应对PCA对离群值的敏感性。

5.4 模型的性能和通用性

​ 在本节中，我们旨在评估异常检测算法的性能及其在三个不同数据集上的概括能力。BATADAL、SWaT和WADI。为了与以前的出版物保持一致，我们使用精度、召回率和F 1作为所有数据集的检测性能指标（注意，最初的BATADAL com- petition使用不同的评分系统）。

5.4.1 参数调整

​ 为了回答第二个研究问题（RQ#2Þ），对于每个模型（1D CNN、UAE、VAE和PCA），我们使用网格搜索和遗传算法[58]测试了多个超参数的配置，以确定超参数对检测效果的影响。由于篇幅有限，我们列出了每个模型类型的超参数列表，以及在所有数据集上观察到的最佳参数值。我们还对我们的发现进行了总结。更多的细节可以在补充材料中找到，可在线查阅。

​ 1D CNN。

​ • 层数（LR）–8至10层提供了最佳性能。

​ • 内核大小（K）–大小为2至4的小过滤器是最佳的。

​ • 滤波器的数量（F）–增加滤波器的数量可以提高检测性能，其中16和32个滤波器被认为是最佳数量，尽管8个滤波器对SWaT来说效果更好。

​ • 激活函数（A）–在所有情况下，ReLU或tanh是否能带来更好的性能，没有明确的指示。

​ • 序列长度（LN）–发现最佳长度为15至18个样本。

​ • 层数（LR）–对于时域信号，增加层数并不能提高模型的性能，单层就足够了。对于频域，由于多个代表同一时间特征的频带导致更多的数据，将层数增加到三层是最佳的。

​ • 序列长度（LN）–对于时域数据，使用1到8之间的序列长度是最佳的，增加长度并没有明显改善结果，或者根本没有改善。对于频域，最佳序列长度为3。

​ • 激活函数（A）–没有发现ReLU或tanh的明显优势。

​ • 编码与输入的比率（R）–0.5被认为是总体上最合适的比率，这可能与下面描述的PCA结果有关。• 破坏性噪声水平（N）–低水平，如0.01，或根本没有噪声，产生了最好的结果；这很可能源于数据中存在的自然噪声。

​ • UAE与VAE的比较 - 我们发现，在同等的超参数下，UAE的表现一直比VAE好。PCA。

​ • 序列长度（LN）–在BATADAL中，1个是最合适的长度，而在SWaT和WADI中，增加它（达到7个）会有小的改善。

​ • 主成分与输入比率（R）的数量–使其等于建模特征的一半，可提供最佳性能；进一步增加不会导致改进，而较小的数值会导致退化。我们发现，这一数量的主成分捕捉了所使用的数据集中99%的变化。

在下一小节中，我们利用上面的发现，为每个模型寻找一个在所有数据集中都是最佳的设置（配置）。

5.4.2 攻击检测性能

​ 我们首先尝试回答第三个研究问题（RQ#3），然后介绍BATADAL、SWaT和WADI数据集的优化模型的最佳检测结果。最佳检测结果如下：对于每个数据集，我们用第5.4.1节中确定的所有可能的超参数值组合得到的配置来评估每个模型类型。表3、表4和表5分别列出了BATADAL、SWaT和WADI数据集的精度、召回率和F1指标的结果。对于每个模型经过评估，我们还提出了导致最佳检测结果的超参数配置。请注意，我们将PCA的窗口化和常规变体都简单地表示为PCA。此外，对于频域特征，UAE模型的表现优于1D CNN和VAE，因此我们只介绍PCA和UAE模型的结果。

​ 如表3、4和5所示，我们的方法的最佳检测结果接近或改进了先前的研究。对于每个数据集，我们都能用至少两种不同的方法取得比以前报告的更高的分数。特别是，WADI数据集的结果非常突出，因为我们能够比以前报告的结果提高38%。根据表3、表4和表5中预发的结果，我们对本研究中不同方法之间的比较做了如下观察。在NN模式中，UAEs能够在时域和频域特征方面取得最好的成绩。它们在每一个数据集上都超过了VAEs。一维CNNs产生了类似的结果，但稍差。令人惊讶的是，PCA表现非常好，在SWaT数据集的时域上产生了最好的结果。我们将这一成功归功于我们仔细的特征选择和降噪，以及SWaT数据集的许多剩余特征之间的线性依赖性质。

​ 从表3、4和5可以看出，最佳模型的超参数在不同的数据集中是不同的。为了评估所提出的方法的稳健性，即在不同的数据集中找到一个能提供最佳结果的模型和配置的能力（RQ#4）。我们进行了实验，旨在确定在所有三个数据集上提供最佳平均检测性能的超参数的统一集合。通用的超参数值是通过在所有三个数据集上测试所有最佳模型的超参数组合，并确定每个模型的最佳配置而找到的；我们把这个模型称为通用模型。表6列出了通用模型的参数（如上所述）、每个数据集的平均检测分数以及所有数据集的平均F 1分数。可以看出，虽然通用模型取得了良好的检测分数，但其通用性是以降低性能为代价的。然而，我们仍然可以观察到相同的趋势。UAE是最好的NN模型，而1D CNN是第二好的。在通用模型中，PCA的性能再次脱颖而出。

​ 对于BADATAL和SWaT，UAE在所有方法和领域中都提供了最高的检测结果。PCA在频域的结果很高，但比UAE的结果低得多。我们观察到，在时域中表现良好的浅层单层UAE在频域中的表现却不尽如人意，频域中的表现结果差异较大。造成这种性能差异的原因是相对于时域而言，频域特征的数量和种类更多，因为每个时域特征都由几个频段表示。为了给频域表示提供强大和稳定的结果，我们增加了模型的容量，将膨胀层增加到10倍，而不是用于时域的3倍，并使用更多的层（3层而不是1层）。一）。这样的阿联酋模型是稳健的，从表6中通用阿联酋频率模型的结果可以看出。

​ ，但我们发现了频域检测的一个限制。由于频率表示法的转换需要使用至少一个周期的信号主导频率的窗口，在频域中，不可能区分在同一窗口内迅速相继出现的短暂攻击。虽然在现实中这可能是一个轻微的问题，但在SWaT数据集中，许多快速攻击是连续发生的。我们的方法通常将它们作为一个长的攻击来检测，这降低了精度指标。WADI数据集似乎并不适合进行频域分析。只有127个特征中有44个有明确的主导频率，它们的频率非常低（主导频率周期为1440分钟或24小时）。这种非常长的周期导致检测短距离攻击的分辨率很低（WADI数据集中的攻击约为10分钟）。其他特征没有任何明确的周期性。我们与数据集的开发者进行了协商，他们表示WADI的生产周期是由消费者的需求驱动的，而这些需求模式每小时都在变化。因此，WADI代表没有稳定生产周期的ICS，因此频域分析不适用于它们。我们的结论是，一般来说，频域分析可以为攻击检测做出贡献，然而它在周期不稳定的系统中效果较差，而且在检测短期攻击方面也不精确。

​ 我们将频域中的检测与另一种流行的时间序列数据频率分析方法–小波变换进行了比较。在文献中描述的几种小波神经网络结构中，我们选择了一个W-ANN结构，因为它最符合我们研究中使用的方法。这种结构在各种研究领域也越来越受欢迎，如降雨预测[59]、断层扫描[60]和废水预测[61]。在W-ANN架构中，信号首先使用小波变换进行分解，然后传递给NN进行预测或分类。我们使用离散Meyer小波作为母小波函数的3个分解级别，在[61]中发现这是最佳配置。分解后的信号再被传递给UAE（W-UAE）或具有通用频率配置的PCA（W-PCA）。结果列于表6。如结果所示，被测试的W-ANN架构的平均检测得分低于提议的方法。然而，这个有前途的方向将在未来的研究中进一步研究。

5.5 模型尺寸和速度比较

​ 如[17]所示，一维CNN比常用于时间序列预测的递归神经网络更小，训练速度更快。我们评估了本研究提出的一维CNN、UAE和PCA的模型大小以及训练和测试时间（表7列出了该评估的结果）。训练时间是在批量设置中测量的，而测试时间是在在线模式模拟中测量的，在测试数据到达时进行评估。很明显，基于UAE的网络更小（对于短序列），训练时间更短，测试时间比一维CNN略快。然而，PCA在这两种情况下提供了更小的足迹和更快的时间。

​ 最后，我们的评估证明了所提出的检测方法和所用模式的通用性和效率。结果表明，UAEs是一种轻量级和有效的NN架构，可用于异常检测。在CPSs中进行网络攻击检测。此外，PCA提供了一个简单的选择，在许多现实世界的设置中是足够的。

图9 SWaT攻击7。LIT301被欺骗以导致下溢。

5.6 拟议方法的对抗性稳健性

​ 为了回答RQ#5，我们评估了基于神经网络的模型（1D-CNN和UAE）对第4.7.2节中提出的攻击的稳健性。请注意，我们没有把VAE模型包括在这个评估中，因为它的表现比其他模型差。由于我们无法进入测试平台，我们的研究基于对数据集中由传感器值欺骗引起的攻击的对抗性操纵；这包括SWaT数据集的18个攻击和WADI数据集的一个攻击。不幸的是 ， 由 于数据集中存在有效信号的重放 ，BATADAL攻击和其余的WADI攻击并不适合本实验。

​ 虽然这种方法不能取代真实系统的测试，但它可以提供一个近似的能力，以产生所需的对抗性输入。这种纯数据研究的两个主要限制是。

​ 1.它仅限于数据集中已经存在的攻击；即使这些攻击不能被对抗性输入所掩盖，也可能有其他攻击具有这种能力.

​ 2.没有办法测试在真实系统中以分析方式发现的对抗性样本的物理效果。

图10 一个一维CNN模型对SWaT攻击7的预测。在攻击和恢复期间，预测值与观察值有很大不同。

图11 一个一维CNN模型在对抗性输入优化后对SWaT攻击7的预测（见4.7节）。对抗性输入预计会导致一个下溢，并且不被模型所察觉。对抗性预期输出表示攻击者希望模型产生的预测信号，对抗性造成的输出是实际模型的预测。

​ 我们评估了通过操纵单一特征（即传感器）在一个模型上创造对抗性例子的能力。为了考虑最坏的情况，我们没有对允许的对抗性噪声设置任何限制。实验表明，我们基于包装模型的方法确实能够创造出引起所需的恶意物理效果且不被1D CNN模型检测到的对抗性例子。

​ 图9展示了来自SWaT数据集的攻击7，其中水位传感器LIT301的测量值被欺骗得更高，导致水位下泄。当为LIT301创建的一维CNN模型被用来检测相关时间段的异常情况时，它产生了图10所示的预测结果。经过对抗性优化（在第4.7节中描述），我们能够产生保留攻击的物理特征的输入（在攻击期间保持欺骗的高电平），并且被模型预测得非常接近，因此没有被发现（见图11）。然而，当一个额外的特征被添加到模型中时，对抗性优化阻止了攻击者实现其物理影响系统的目标–对抗性输入符合原始模型的预测，并且不会引起下溢（见图12和13）。

图12 一个一维CNN模型对SWaT攻击7的预测，有两个字段（也可以看到在攻击7之前发生的另一次攻击的神器。

​ 在基于UAE的模型中也观察到同样的行为。对于来自WADI数据集的攻击2，对抗性优化能够产生保持传感器1_FIT_001_PV的欺骗值的输入，同时不被UAE模型所察觉。然而，为了达到这一效果，攻击者被迫大幅改变所有传感器和执行器的模型值。正如我们的威胁模型所述，攻击者能够欺骗系统的所有传感器值是非常不可能的，因此被认为不在本研究的范围。

图13 一个一维CNN模型在使用两个特征时，在对抗性输入优化后对SWaT攻击7的预测。对抗性输入失去了它所期望的物理影响。

​ 此外，我们观察到，使用噪声来破坏输入，如在线补充材料中的附录B所述，可以进一步增加模型对对抗性输入的稳健性，因为在对抗性训练和测试期间，应用于对抗性例子的随机噪声是不同的。为其他攻击生成对抗性输入显示了同样的甚至更强大的行为：有时不可能创建对抗性输入来保留一个特征模型的预期物理效果。

​ 此外，如果我们限制允许的噪声水平（例如，0.05），在我们所有的实验中，对抗性输入的生成完全失败。图14说明了噪声对SWaT攻击7的对抗性输入生成的影响。对于这种攻击，由公式（12）找到的假阳性率为零的1D CNN模型的检测阈值为0.03。

​ 从图14中可以看出，在低噪音水平下，攻击失败，没有达到检测阈值。在噪声水平很高的情况下，即允许攻击者完全改变信号，阈值达到了，但攻击失去了预期效果，如图13所示。

图14 在不同的噪声约束水平E和0.03的阈值下，随着算法3的迭代，SWaT攻击7的模型预测误差变化。在较低的噪声水平下，攻击未能达到阈值；在噪声水平为1时（允许实际上不受约束的信号操作），达到了阈值，但代价是失去了预期的物理影响。。

​ 我们的实验结果表明，拟议的检测机制对对抗性规避攻击是稳健的。在一个真实的系统上验证这一发现是未来研究的任务。这种对抗性的鲁棒性与对抗性学习在其他领域（如图像处理）的成功相比，显得非常突出。有许多因素使得网络安全和网络物理领域在对抗性攻击方面与计算机视觉不同[62]。在我们的案例中，最相关的差异是：使用回归机器学习算法与计算机视觉中使用的分类算法，信号的过去和未来值之间的强烈依赖性，以及特征之间的强烈相互依赖性，由于物理学规律。这些差异给感觉数据带来了硬性约束，而不像图像那样基本上没有这种约束。

6. 总结

​ 在本文中，我们研究了基于1D CNN和AE的异常和网络攻击检测机制的有效性。基于我们的实验，我们得出结论，一维CNN和AE在本研究中使用的三个公共数据集上都达到或超过了最先进的性能，同时保持了通用性、简单性和小的足迹。目前还不清楚这些架构中的一个是否总是比另一个更好，我们计划用更多的数据集扩展我们的研究，以进一步研究这个问题。我们建议在可能的情况下采用由两种模型组成的组合。如果必须选择一个单一的模型，在大多数情况下，AE可能会开箱即用，而一维CNN则需要进行一轮超参数调整以消除假阳性。我们发现， 考虑到适当的数据准备和特征选择， PCAReconstruction和windowed-PCA在许多现实生活中可以作为简单而有效的检测器。因此，我们建议在应用基于NN的检测器之前，先将PCA作为一个基准检测器。我们还发现频域分析对异常和攻击检测有帮助。它的适用性受制于几个实践要求；如果这些要求得到满足，频域分析可以提供强有力的结果。我们发现所提出的检测方法对对抗性规避攻击是有弹性的。这一发现是很有希望的，因为它允许系统操作员相信该方法的决定。有必要使用实际的测试平台来确认这些结果。未来的研究还可以研究对抗性中毒攻击对拟议方法的影响。

[1] Wired, “Inside the cunning, unprecedented hack of Ukraine’s powergrid,” Accessed: Mar. 2018, 2016. [Online]. Available: https://www.wired.com/2016/03/inside-cunning-unprecedented-hackukraines-power-grid/
[2] D. Kushner, “The real story of stuxnet,” IEEE Spectrum, vol. 3,no. 50, pp. 48–53, Mar. 2013.
[3] ForeignPolicy, “Cyberattack targets safety system at Saudi Aramco,”Accessed: Mar. 2018, 2017. [Online]. Available: http://foreignpolicy.com/2017/12/21/cyber-attack-targets-safety-system-at-saudiaramco/
[4] F. Pasqualetti, F. D€orfler, and F. Bullo, “Cyber-physical attacks inpower networks: Models, fundamental limitations and monitordesign,” in Proc. 50th IEEE Conf. Decis. Control Eur. Control Conf.,2011, pp. 2195–2201.
[5] A. Teixeira, D. Perez, H. Sandberg, and K. H. Johansson, “Attackmodels and scenarios for networked control systems,” in Proc. 1stInt. Conf. High Confidence Networked Syst., 2012, pp. 55–64.
[6] A. Jones, Z. Kong, and C. Belta, “Anomaly detection in cyberphysical systems: A formal methods approach,” in Proc. IEEE 53rdAnnu. Conf. Decis. Control, 2014, pp. 848–853.
[7] V. K. Mishra, V. R. Palleti, and A. Mathur, “A modeling framework for critical infrastructure and its application in detectingcyber-attacks on a water distribution system,” Int. J. Critical Infrastructure Protection, vol. 26, 2019, Art. no. 100298.
[8] J. M. Beaver, R. C. Borges-Hink, and M. A. Buckner, “An evaluation of machine learning methods to detect malicious scadacommunications,” in Proc. 12th Int. Conf. Mach. Learn. Appl., 2013,pp. 54–59.
[9] R. C. B. Hink, J. M. Beaver, M. A. Buckner, T. Morris, U. Adhikari,and S. Pan, “Machine learning for power system disturbance andcyber-attack discrimination,” in Proc. 7th Int. Symp. Resilient Control Syst., 2014, pp. 1–8.
[10] O. Chapelle et al., Semi-Supervised Learning, vol. 2, Cambridge,MA, USA: MIT Press, 2006.
[11] J. Goh, S. Adepu, M. Tan, and Z. S. Lee, “Anomaly detectionin cyber physical systems using recurrent neural networks,” inProc.IEEE 18th Int. Symp. High Assurance Syst. Eng., 2017,pp. 140–145.
[12] J. Inoue, Y. Yamagata, Y. Chen, C. M. Poskitt, and J. Sun,“Anomaly detection for a water treatment system using unsupervised machine learning,” in Proc. IEEE Int. Conf. Data MiningWorkshops, 2017, pp. 1058–1065.
[13] Q. Lin, S. Adepu, S. Verwer, and A. Mathur, “TABOR: A graphicalmodel-based approach for anomaly detection in industrial controlsystems,” in Proc. Asia Conf. Comput. Commun. Secur., 2018,pp. 525–536.
[14] A. Abokifa, K. Haddad, C. Lo, and P. Biswas, “Detection of cyberphysical attacks on water distribution systems via principal component analysis and artificial neural networks,” in Proc. WorldEnviron. Water Resour. Congress, 2017, pp. 676–691.
[15] S. Chandy, A. Rasekh, Z. Barker, B. Campbell, and M. Shafiee,“Detection of cyber-attacks to water systems through machinelearning-based anomaly detection in SCADA data,” in Proc. WorldEnviron. Water Resour. Congress, 2017, pp. 611–616.
[16] R. Taormina and S. Galelli, “Deep-learning approach to the detection and localization of cyber-physical attacks on water distribution systems,” J. Water Resour. Planning Manage., vol. 144, no. 10,2018, Art. no. 04018065.
[17] M. Kravchik and A. Shabtai, “Detecting cyber attacks in industrialcontrol systems using convolutional neural networks,” in Proc.Workshop Cyber-Physical Syst. Secur. PrivaCy, 2018, pp. 72–83.
[18] J. Goh, S. Adepu, K. N. Junejo, and A. Mathur, “A dataset tosupport research in the design of secure water treatment systems,” in Proc. Int. Conf. Critical Inf. Infrastructures Secur., 2016,pp. 88–99.
[19] W. Aoudi, M. Iturbe, and M. Almgren, “Truth will out: Departurebased process-level detection of stealthy attacks on control systems,” in Proc. ACM SIGSAC Conf. Comput. Commun. Secur., 2018,pp. 817–831.
[20] N. Sehatbakhsh, A. Nazari, H. Khan, A. Zajic, and M. Prvulovic,“EMMA: Hardware/software attestation framework for embedded systems using electromagnetic signals,” in Proc. 52nd Annu.IEEE/ACM Int. Symp. Microarchitect., 2019, pp. 983–995.
[21] A. Kleinmann, O. Amichay, A. Wool, D. Tenenbaum, O. Bar, andL. Lev, “Stealthy deception attacks against scada systems,” inComputer Security. Berlin, Germany: Springer, 2017, pp. 93–109.
[22] C. M. Ahmed, J. Zhou, and A. P. Mathur, “Noise matters: Usingsensor and process noise fingerprint to detect stealthy cyberattacks and authenticate sensors in CPS,” in Proc. 34th Annu. Comput. Secur. Appl. Conf., 2018, pp. 566–581.
[23] J. Giraldo et al., “A survey of physics-based attack detection incyber-physical systems,” ACM Comput. Surv., vol. 51, no. 4, 2018,Art. no. 76.
[24] A. Herzberg and Y. Kfir, “The leaky actuator: A provably-covertchannel in cyber physical systems,” in Proc. ACM Workshop CyberPhysical Syst. Secur. Privacy, 2019, pp. 87–98.
[25] N. De Bruijn, “Uncertainty principles in fourier analysis,” Inequalities, vol. 2, pp. 57–71, 1967.
[26] C. Szegedy et al., “Intriguing properties of neural networks,” 2013,arXiv:1312.6199.
[27] B. Biggio and F. Roli, “Wild patterns: Ten years after the rise of adversarial machine learning,” Pattern Recognit., vol. 84, pp. 317–331,2018.
[28] R. Mitchell and I.-R. Chen, “A survey of intrusion detection techniques for cyber-physical systems,” ACM Comput. Surv., vol. 46,no. 4, 2014, Art. no. 55.
[29] S. Han, M. Xie, H.-H. Chen, and Y. Ling, “Intrusion detection incyber-physical systems: Techniques and challenges,” IEEE Syst. J.,vol. 8, no. 4, pp. 1052–1062, Dec. 2014.
[30] A. Humayed, J. Lin, F. Li, and B. Luo, “Cyber-physical systemssecurity–a survey,” IEEE Internet Things J., vol. 4, no. 6, pp. 1802–1831, Dec. 2017.
[31] C. Alcaraz, L. Cazorla, and G. Fernandez, “Context-awarenessusing anomaly-based detectors for smart grid domains,” in Proc.Int. Conf. Risks Secur. Internet Syst., 2014, pp. 17–34.
[32] J. Giraldo, E. Sarkar, A. A. Cardenas, M. Maniatakos, andM. Kantarcioglu, “Security and privacy in cyber-physical systems:A survey of surveys,” IEEE Design Test, vol. 34, no. 4, pp. 7–17,Aug. 2017.
[33] D. Hadziosmanovic, R. Sommer, E. Zambon, and P. H. Hartel,“Through the eye of the PLC: Semantic security monitoring forindustrial processes,” in Proc. 30th Annu. Comput. Secur. Appl.Conf., 2014, pp. 126–135.
[34] D. Mashima and A. A. Cardenas, “Evaluating electricity theftdetectors in smart grid networks,” in Proc. Int. Workshop RecentAdvances Intrusion Detection, 2012, pp. 210–229.
[35] S. Mishra, Y. Shoukry, N. Karamchandani, S. N. Diggavi, andP. Tabuada, “Secure state estimation against sensor attacks in thepresence of noise,” IEEE Trans. Control Netw. Syst., vol. 4, no. 1,pp. 49–59, Mar. 2017.
[36] C. Murguia and J. Ruths, “Characterization of a cusum modelbased sensor attack detector,” in Proc. IEEE 55th Conf. Decis.Control, 2016, pp. 1303–1309.
[37] Y. Mo, S. Weerakkody, and B. Sinopoli, “Physical authenticationof control systems: Designing watermarked control inputs todetect counterfeit sensor outputs,” IEEE Control Syst. Magazine,vol. 35, no. 1, pp. 93–109, Feb. 2015.
[38] R. Mitchell and R. Chen, “Behavior rule specification-based intrusion detection for safety critical medical cyber physical systems,”IEEE Trans. Dependable Secure Comput., vol. 12, no. 1, pp. 16–30,Jan./Feb. 2015.
[39] M. S. Rahman, M. A. Mahmud, A. M. T. Oo, and H. R. Pota,“Multi-agent approach for enhancing security of protectionschemes in cyber-physical energy systems,” IEEE Trans. Ind.Inform., vol. 13, no. 2, pp. 436–447, Apr. 2017.
[40] T. Roth and B. McMillin, “Physical attestation in the smart grid fordistributed state verification,” IEEE Trans. Dependable Secure Comput., vol. 15, no. 2, pp. 275–288, Mar./Apr. 2018.
[41] R. Taormina et al., “Battle of the attack detection algorithms: Disclosing cyber attacks on water distribution networks,” J. WaterResour. Planning Manage., vol. 144, no. 8, 2018, Art. no. 04018048.
[42] M. Housh and Z. Ohar, “Model-based approach for cyberphysical attack detection in water distribution systems,” WaterRes., vol. 139, pp. 132–143, 2018.
[43] D. Li, D. Chen, B. Jin, L. Shi, J. Goh, and S.-K. Ng, “MAD-GAN:Multivariate anomaly detection for time series data with generative adversarial networks,” in Proc. Int. Conf. Artif. Neural Netw.,2019, pp. 703–716.
[44] Y. Mirsky, T. Doitshman, Y. Elovici, and A. Shabtai, “Kitsune: Anensemble of autoencoders for online network intrusion detection,”in Proc. Annu. Netw. Distrib. Syst. Security Symp., 2018.
[45] M. Sakurada and T. Yairi, “Anomaly detection using autoencoders with nonlinear dimensionality reduction,” in Proc. MLSDA2nd Workshop Mach. Learn. Sensory Data Anal., 2014, Art. no. 4.46] A. Ghafouri, Y. Vorobeychik, and X. Koutsoukos, “Adversarialregression for detecting attacks in cyber-physical systems,” inProc. 27th Int. Joint Conf. Artif. Intell., 2018, pp. 3769–3775.
[47] C. Feng, T. Li, Z. Zhu, and D. Chana, “A deep learning-basedframework for conducting stealthy attacks in industrial controlsystems,” 2017, arXiv: 1709.06397.
[48] A. Erba et al., “Real-time evasion attacks with physical constraintson deep learning-based anomaly detectors in industrial controlsystems,” 2019, arXiv: 1907.07487.
[49] T. H. Morris, Z. Thornton, and I. Turnipseed, “Industrial controlsystem simulation and data logging for intrusion detection systemresearch,” in Proc. 7th Annu. Southeastern Cyber Secur. Summit,pp. 3–4, 2015.
[50] I. Goodfellow, Y. Bengio, A. Courville, and Y. Bengio, Deep Learning, vol. 1, Cambridge, MA, USA: MIT Press, 2016.
[51] I. Chakravati, R. Laha, and J. Roy, Handbook of Methods of AppliedStatistics, Hoboken, NJ, USA: Wiley, 1967.
[52] C. Croarkin et al., “NIST/SEMATECH e-handbook of statisticalmethods,” Nist/Sematech, 2006. 
[Online]. Available: http://www.itl. nist. gov/div898/handbook
[53] W. Ku, R. H. Storer, and C. Georgakis, “Disturbance detection andisolation by dynamic principal component analysis,” ChemometricsIntell. Lab. Syst., vol. 30, no. 1, pp. 179–196, 1995.
[54] R. Taormina, S. Galelli, N. O. Tippenhauer, E. Salomons, andA. Ostfeld, “Characterizing cyber-physical attacks on water distribution systems,” J. Water Resour. Planning Manage., vol. 143, no. 5,2017, Art. no. 04017009.
[55] C. M. Ahmed, V. R. Palleti, and A. P. Mathur, “WADI: A waterdistribution testbed for research in the design of secure cyberphysical systems,” in Proc. 3rd Int. Workshop Cyber-Physical Syst.Smart Water Netw., 2017, pp. 25–28.
[56] S. Kullback and R. A. Leibler, “On information and sufficiency,”Ann. Math. Statist., vol. 22, no. 1, pp. 79–86, 1951.
[57] M. Fryer, “A review of some non-parametric methods of densityestimation,” IMA J. Appl. Math., vol. 20, no. 3, pp. 335–354, 1977.
[58] D. E. Goldberg and J. H. Holland, “Genetic algorithms andmachine learning,” Mach. Learn., vol. 3, no. 2, pp. 95–99, 1988.
[59] M. Shoaib, A. Y. Shamseldin, and B. W. Melville, “Comparativestudy of different wavelet based neural network models for rainfall–runoff modeling,” J. Hydrol., vol. 515, pp. 47–58, 2014.
[60] R. Arulmurugan and H. Anandakumar, “Early detection of lungcancer using wavelet feature descriptor and feed forward backpropagation neural networks classifier,” in Computational Visionand Bio Inspired Computing. Berlin, Germany: Springer, 2018,pp. 103–110.
[61] M. Zeinolabedini and M. Najafzadeh, “Comparative study of different wavelet-based neural network models to predict sewagesludge quantity in wastewater treatment plant,” Environ. Monit.Assessment, vol. 191, no. 3, 2019, Art. no. 163.
[62] I. Rosenberg, A. Shabtai, Y. Elovici, and L. Rokach, “Adversariallearning in the cyber security domain,” 2020, arXiv: 2007.02407.