摘 要

在这个科技日益发展的阶段,随着人们在信号处理与应用领域中研究的不断深入,为了清晰地分析和研究实际
技术中有用的信号信息,野值点的检测和剔除的研究有着非常重要的意义。野值点是在信号中的无价值部分,其与
有用信号偏差较大,对整个信号有一定干扰。因此,正确分析和剔除出数据中的野值点,在建筑物基抗检测、弹道
数据、海洋技术等各个领域中作用深远。对于野值点的检测与剔除已成为了现代信号处理的研究热门。
  近年来根据研究的不断深入,野值点的剔除方法有很多。在对序列信号野值点的处理中,同样有很多方法作为
分析、过滤信号的有力工具,并且能够在最大限度且不破坏原有信号的基础上,对野值点进行剔除,解决了野值点
检测、剔除不充分的问题。本文将对序列信号野值点的检测进行研究学习,并以小波变换法、残差检测法、拉伊达
法则、时域微分法为重点进行研究学习,分别利用这些方法对序列信号进行野值点的检测与剔除,并对这些方法用
MATLAB进行仿真分析,得出仿真结果并进行阐述说明。
关键词:序列信号;野值点;残差检测法;拉伊达法则;时域微分法

第1章 绪 论

1.1 研究背景及意义
  序列信号指的是同步脉冲的作用下循环的产生一串周期性的二进制信号,是非常常见的信号,在通信、雷达、
诊断、检测等技术中有着广泛的应用。随着研究的不断深入,人们面对的信号愈加复杂,人们对信号的认知在不断
地提高,人们发现正在利用的序列信号已经不满足于我们的需要,产生序列信号的过程中,受到一些环境因素的影
响,可能会出现一些偏差较大的点,即为野值点。如果不对这些野值点进行处理,可能会影响最终的信号分析结
果。因此,对野值点进行检测和处理具有相当重要的必要性。
  在以往的对于野值点的检测与剔除方法中,一般的应用某些类型的野值剔除方法,会对于各种类型的信号进行
处理,信号处理的结果分析中,信号剔除野值点的效果非常好,但是需要利用人工干预的方法对没有被剔除的野值
点进行再次剔除,这存在着一定量的有用数据也有被随之剔除的可能,很大程度上有效性和完整性被随之破坏。
  迄今为止, 相对于野值点的研究在某些领域已经被提出来了,并且在实际应用中可以解决一些问题。 但是,
这些方法都不能解决所有问题,并且像门限检测的方法一样都具有独特的优点和缺点,例如小波分析方法不适用于
检测渐变故障,卡方检验法对于稳定无野值的参考系统较为依赖。 由于参考系统包含异常值,因此如果检测野值
时,则无法判断出哪个系统没有数据错误和信息故障。
  现代信号分析处理中,对于序列信号野值点的判定是现代信号处理研究工作中的一个研究热点。序列信号野值
点判定在现当代来说的意义重大,根据每种方法的特性和最佳使用范围,取决于参数的特性来决定野值点的剔除方
式,使得数据的完整性和处理的准确性得到保障,通过利用野值的统计资料实现了对数据野点剔除的再利用,更大
限度的发挥和利用人工经验。正确分析野值点对信号的影响将对未来的各个方面的领域影响和作用都非常深远[1]。
  序列信号野值点的剔除现在已经在众多科学领域中被实施应用。在无线电领域中,先已完成的研究中,就有弹

道数据分析、脱靶量测量对导弹性能进行分析等等。再比如海洋技术领域中,水下声学定位、导航传感器分析等
等。航空工程领域中,飞行参数分析等。在光电领域中,对光谱进行分析等等。因此,有必要对野值点检测的方法
进行研究。
1.2 国内外研究现状
  国内外的科研学者在信号处理的领域已经进行了众多科研工作。信号处理始于20世纪60年代,最开始是贝尔实
验室及麻省理工学院利用电子计算机对电路与滤波器设计进行仿真,从而奠定了数字滤波器的发展基础。60年代中
期,傅里叶变换的出现使得通过傅里叶分析得频谱分析计算速度提高了上百倍以上[2],从而可以利用电子计算机进
行频谱分析,奠定了信号与系统分析的实用基础,形成了以数字滤波和快速傅里叶变换为中心内容的数字信号处理
的基本方法与概念。70年代开始,信号处理这个专用名词开始出现在科技领域中。
  对于野值点的研究在19世纪末期便已经被提出来,一开始用于地质方面,逐渐到20世纪初后, Fanny Novika
针对野值点进行了分析,并提出了两种检测野值点的方法。到了20世纪40年代,在作物生长的领域中也需要对野值
点进行检测。
  随着时间的推移,七十年代的对于野值点的判定相比较于四十年代来讲取得了很好的发展。1960年,在
Technometrics杂志上发布的一篇名为Rejection of Outliers的文章,对于排除野值点的标准有了新的建议,应将
注意更好的集中在误差方差上,还考虑了复杂的观测模式,尤其是具有高对称性的阶乘排列,并且对残差之间的相
关性进行了研究。
  步入八十年代初期后,对于检测、剔除野值点的方法和理论研究都加快脚步进入了快速发展的时期,应用领域
也更加广泛[3]。 S. Taczanowski提出了一个用于活化分析数据处理的简单ALGOL程序,测试野值并进行仪器误差和
标准偏差的计算。
  到了九十年代,Journal of the American Statistical Association杂志中,一篇名为Detecting Outliers
in Time Series Data的文章指出通过考虑固定时间序列自相关p(k)的影响函数,研究离群值对时间序列数据的影
响。 同年,杨自强在《物化探电子计算技术》的发表中指出了识别和剔除野值的一个算法,用于多元正态样本中剔
除野值点[4]。
  二十世纪末,徐常练提出了叠前中值滤波算法,这个方法对每个道集分别进行中值滤波,并且每个道集之间互不
干扰,所用的输入数据除了一道以外其它的都与计算上一个输出道时完全相同,与其他方法相比,这种方法计算量
更小且原理简单。戴宪华、何振亚提出了自适应滤波技术,基于野值点而导致控制系统的不稳定的情况对系统输出
作坚韧处理。
  2003年,带滤波修正的野值算法被刘准等人非所提出。计算简单且便于工程实现,在存在较大范围的野值点的
情况下,该方法要优于传统的滤波方法,拥有比传统滤波方法更高的估计精度,有效降低误差。
  2008年,史兆良和王鹏对传统滤波方法加以改进,提出了时间序列进行修正“新息”的测量数据对野值点的去
除。该算法可状态估计和野值点判别同时进行,并能很好的抑制滤波发散,减少野值的影响,保证了滤波的稳定
性。
1.3 野值剔除的发展
  随着信息科学和计算机技术的飞速发展,信号处理技术已经得到了飞速的发展,已经成为一个非常重要的研究
领域。 这些野值的检测和剔除是最重要的现代信号处理方法之一,其应用范围也在不断扩大。 将来,将有更多的
研究人员参与有关此技术细节的详细研究和探索。 从发展历史的角度来看,随着时间的流逝,越来越多的时频分析
方法变得越来越完善。
对其展望未来,有以下几点:
1.能否有方法能去除范围更大的野值点。
2.在野值的剔除率和误剔除率之间如何取得一个更好的平衡。
3.如何采取一定方式方法对目标当前状态进行估计以及求取观测误差,使之更加准确[5]。
4.快速算法的研发。在实际问题中的数据量都很大,所以对于快速算法的研发是有必要的。
  5.在更多领域中的开发。现如今,信号处理、野值点剔除技术正在不断地进步与发展,如何在更多的领域中得
以开发,还有待科研工作者们继续探索研究。
1.4 论文安排
  第1章主要介绍了序列信号野值点检测的研究背景以及它的意义所在,列举了一些直至今日为止国内外研究现
状,并在最后简单的对时频分析的未来发展进行分析。

第2章主要介绍了序列信号的定义以及其几个主要的特性:正态性、对称性、周期性和序列信号的野值点。先是
分别对它的几个性质进行详细的介绍,以及其各个性质的检验,最后简单介绍了序列信号的野值点的类型和成因。
  第3章主要介绍了检测、剔除野值点的方法,本章一共介绍了四个方法:拉伊达法则、残差检测法、时序微分
法、小波变换法。首先引出了野值点的概念,了解其概念之后,我们以此介绍了几种检测、剔除野值点的方法,分
别从原理出发进行详细介绍,充分了解了其特性以及应用。
  第4章主要介绍了对四种检测、剔除野值点的方法进行MATLAB仿真。首先简单介绍了本次研究所用的软件MATLAB
,了解并熟悉MATLAB软件的基本操作;然后介绍了本次研究的主要的四种检测、剔除野值点方法的仿真,给出了
MATLAB程序以及仿真结果,再对同一信号利用不同方法进行仿真,并就这些仿真结果进行分析。
1.5 本章小结
  野值点的判定与剔除是现代信号处理中非常受关注的研究课题,它包括本课题主要研究的是对序列信号野值点
的判定。序列信号野值点的判定分析方法中主要包括小波变换法、残差检测法、拉伊达法则、时域微分法等。本文
就这几种分布重点研究,学习认识这几种主要分析方法,并在MATLAB环境下进行相应的程序设计,并进行仿真对其
分析。

第2章 序列信号的特性

数字信号处理是使用计算机或通用(专用)信号处理单元数值方法处理信号的学科。 随着信息和通信、计算机
科学和技术的飞速发展得同时,数字信号处理理论也在飞速蓬勃发展,并在信息和通信领域得到了非常广泛的应用
[6]。
  数字信号处理中的信号为离散时间信号,通常又称为序列。同步脉冲的作用下循环的产生一串周期性的二进制
信号则称之为序列信号。
2.1序列信号的周期性检验
2.1.1周期性
  周期性,也称之为循环性波动,是一种以时间序列为显示的,以长期趋势为中心的波浪状或振荡式运动。在数
学领域中,某函数输出的值会产生定期重复,这说明该函数是周期函数。在物理学领域当中,质点在做简单的谐波
运动的时候,其往复运动总是重复几次,并且每个循环时间在精确的周期性特性中都是相同的。频率是周期的倒
数,赫兹是其度量单位。
2.1.2周期性信号
  周期信号是其周期信号的瞬时幅值跟随着时间重复变化的信号。周期性信号常见的有很多,例如:脉冲信号、
正弦信号等等。他们的周期特性非常明显。
  信号可以是模拟信号也可以是数字信号。 如果是连续时间以及连续值,则称之为模拟信号。对于离散时间和离
散值,它是数字信号。除此差异外,周期性的信号和非周期性的信号也是信号的分类。 周期信号的是一种在一段时
间后重复的信号,但非周期的则不会。 模拟信号和数字信号即可以是周期性的信号也同样可以是非周期性的信号。
2.1.3序列信号的周期性
  分析序列信号的周期是一个非常重要的问题,并且能够确定信号是否存在周期分量以及是否存在隐式周期项。
倘若序列信号具有周期性分量,则可以首先以周期分析信号,可以减少其计算量[6]。
假设序列信号具有周期项,
(2-1)
其中, 表示振幅; 表示频率, 表示相位。
时延函数可表示为:
(2-2)
式中,
表示噪音序列,均值为零,方差为
;其自相关序列可表示为
,I表示N阶单位矩阵[7]。
分别用矢量表示



(2-3)
(2-4)
(2-5)

其中, 为正弦波的复数振幅:
; 为信号矢量:

假设
已知,
是复高斯白噪声,Y的概率密度函数可表示为:
(2-6)
式中,H表示共轭转置。
为了估计出隐含周期项的 、 和 的值,需要对这些参数进行最大似然估计。
  序列信号的范围非常宽广,有些信号显示了一定的周期性,但是某些信号相位信息是隐藏的,并且隐藏在序列
内部,无法通过视觉解释找到,必须以特定的方式获取它的周期信息[8]。因此,上述方法对于提取无法直接判读的
信号的周期性至关重要。
2.2序列信号的正态性检验
2.2.1 检验正态性的目的
  对于序列信号的周期性检验,是用以查看信号是否具有正态分布的特征。 在一般正常情况下,并不了解序列信
号的概率分布情况,有必要估计和验证序列信号的分布,从而得出序列信号的真实概率分布。 目前也有很多检测正
态分布的方法,而JB检验是使用最广泛的方法,这种方法是基于不对称和峰度统计的综合检验法。
2.2.2正态分布
  正态分布(Normal distribution),又名高斯分布(Gaussian distribution),最早由棣莫弗(Abraham de
Moivre)由求二项分布的渐近公式中导出。C.F.高斯在研究测量误差时从另一个角度得出了它[9]。这种分布是在数
学、物理及工程等领域都非常重要的概率分布,并且统计学的许多方面都具有重大影响。
  若随机变量X服从正态分布,其数学期望为 、方差为 ,则将其写为N( , )。期望值 决定了其位置,其标
准差 决定了分布的幅度。当
2.2.3 检验正态性的方法
时的正态分布是标准正态分布。
对于随机变量 ,设其期望为 ,方差为 ,其k阶中心距可表示为:
(2-7)
其中,
表示概率密度函数;k表示大于1的整数。
则它的k阶标准矩表示为:
(2-8)
利用变量 的标准定义偏度和峰度,偏度是变量X的3阶标准矩,峰度是变量X的4阶标准矩,分别表示为:
(2-9)
(2-10)
偏度和峰度分别度量了随机变量 以均值为中心分布的对称性和尖锐性,当服从正态分布时,有:

假设

相互独立,根据中心极限定理可知两者渐进服从标准正态3分布,
那么有:
(2-11)
,

时,求得:
,

,于是构造出JB统计量如下所示:

(2-12)
由上可知,若序列信号得JB统计量渐进服从自由度为2的卡方分布,则该信号是正态的;反之,是非正态的。
2.3序列信号的对称性检验
2.3.1对称性
  对于对称性的分类有很多,物理学与数学中的定义也不尽相同。在物理学领域,因为在相应的方向上或着在沿
着这些方向的对称镜像关系上的原子结构与之相同,但是在两个或更多的方向上,是近似晶体的性质。在数学领
域,对称性由群论来表述,包括伽利略群、洛伦兹群和U(1)群[10]。连续对称性(continuous symmetry)和分立对
称性(discrete symmetry)代表着对立群的情形是连续群以及分立群。对称性在很多领域中都有着非常重要的作用,
同样序列信号中的对称性对于检测和剔除野值点也是至关重要的。
2.3.2实序列的对称性
  在对称性的判断中,实序列和连续时间信号的对称性判断是非常类似的,如若序列关于原点对称,
,称之其具有奇对称性;如若
,说明该序列关于
和一个偶分量
左右对称,称之其具有偶
对称性。同样,对任意序列
亦可分解为一个奇分量
之和,即

和fe(n)分别表示为[11]:
(2-13)
(2-14)
(2-15)
(2-16)
式(2-15)表示
具有奇对称性,式(2-16)表示
具有偶对称性。
2.3.3离散时间傅里叶变换的对称性
  数字信号处理信号是离散的时间信号,通常称之为序列信号。 在非周期信号中,离散的时间信号的时域和频谱
的关系可以由离散时间傅立叶变换的对称性反映出来。离散时间信号
DTFT 的对称性表现在以下两方面:
的离散时间傅里叶变换用
表示。
  (1)信号与频谱的共轭对称性。一个域的变量取反(时域或频域)时,另一个域亦变量取反,一个域(时域或频域)
的函数取共轭,另一个域的变量取反,函数取共轭。
  (2)实部与共轭偶对称分量,虚部乘以
与共轭奇对称分量的对称性。一个域(时域或频域)函数的实部,对应
于另一个域函数的共轭偶对称分量;一个域(时域或频域)函数的虚部乘以 ,对应于另一个域函数的共轭奇对称分
量。
  由以上关于对称性的叙述可知,若序列
为实序列,则其离散傅里叶变换为
,并且
具有偶对
称性,也就是说
关系。
的实部和虚部分别拥有偶对称关系和奇对称关系,或者模符合偶对称关系,相角符合奇对称
2.4序列信号的野值点及特性
  序列信号的野值点的范围是非常广泛的,并且类型有很多种,例如白噪声序列野值、高斯噪声序列野值、高斯
白噪声序列等等。白噪声意味着接收到的信号中没有信息,也没有可以使用的动态的规律,它的特点表现在任何两
个随机变量都不相关,所以不能将历史数据作为对未来预测以及推断的依据。高斯噪声意味着其概率密度分布遵循
着正态分布统计规律,也可以称为高斯分布的噪声。而高斯白噪声的概率密度分布也对应于正态分布,但是它的幅
度分布服从高斯分布,而它的功率谱密度又是均匀分布的。
  同样的,对于序列信号野值点产生的原因也是有很多的,例如信道不理想,外界干扰、电路元器件互相影响等
等,在电路中几乎所有的元器件在工作时都会产生野值点,而且电路本身的设计失误或者安装工艺上的缺陷也是产

生野值的原因之一,都会对序列信号产生或多或少的影响。所以,为了提高信号的利用率,对野值点的剔除是不可
缺少的步骤。
2.5本章小结
  序列信号的特性对于其野值点的剔除有着不可磨灭的作用,所以本章主要介绍了序列信号及其性质。首先从定
义出发,详细阐述了它的来源,以及定义;之后列举了三个性质,分别对它的几个性质进行了介绍,以及其各个性
质的检验。最后再介绍了序列信号野值点及其特性。

第3章 野值点检测剔除方法

野值的定义并不是单一的,它被区分为很多种,大家相对熟悉和认可的是于1984年Barnett和Lewis提出的定
义:野值,是由一个或多个观测点组成的子集,且其观测数据集中与其他数据表现的不一致[12]。
  对于野值剔除分为几种不同的类型。本文主要研究不断变化的、单次的测量。我们要通过某些目标状态来估计
和观察误差。 估计目标状态可能会影响野值点的移除,并且检测和移除野值点的不同方法对野值点移除性能会产生
不同的影响。 比如:在某些情况下,为识别野值点而确定的某些准则会将一些非野值点识别为野值点。在其他某些
情况中也会无法检测到野值点的存在,从而无法剔除[13]。所以应根据具体情况来选择合适的野值点剔除方法,使
得野值点在剔除率和剔除误率之间取得一个比较好的平衡。本文将介绍几种方法,对于不同类型的野值点都有着相
对应的检测和剔除方法。对于野值点的检测剔除方法的研究学习,对于实际应用中起着至关重要的作用。
3.1拉伊达法则
3.1.1 拉伊达法则的原理
  拉伊达法则也可以称之为 准则,指的是先假设一组仅包含随机误差的仅包含随机误差,为了获取标准偏差从
而对其进行计算和处理,并以一定概率确定区间,超过此间隔的被认为是粗大误差,而不是随机误差,并且数据中
包含误差的地方应当对其进行消除[14]。
  根据正态得统计规律可知,在
率为0.9544,在
中数值分布的概率为0.6826,在
中数值分布的概
中数值的概率为0.9974,可以认为,Y 的取值几乎全部集中在
区间内,超出这个范围的可能性仅占不到0.3%。
  如果测量中仅仅包含测量中的随机误差,那么根据随机误差正态分布的统计规律,残留误差在
之外的可能
性约为0.3%。如果发现残留误差大于 (测量值),则可以将该点视为野值点,应将对其进行剔除。
   准则基于以下前提:所有观察到的样本都对应于相同的正态分布。如果测量次数足够且充分大,那么从大量
样本中所获得的样本标准差s大约等于测量误差的标准差σ。
  这种判别原理和方法仅仅限于处理使用正态分布或近似正态分布并且基于测量数据足够大的假设的样本作为前
提。那么,应用该准则剔除误差应选则正态分布且样本值尽量大的信号序列。
3.1.2 拉伊达法则的使用条件
   已知对某物理量进行等精度独立测量,测量值为 ,其中i=1,2…n,其x是平均值,
,根据贝塞尔公式可知,测量列的标准偏差如公式(3-1)所示:
是残余误差
(3-1)

时,
,故上式中的任何一个gi2均满足
,
  根据上诉可以知道,如果测量次数
,则可以看到残差误差
的绝对值大于 ,因此可
以使用拉伊达准则确定其中含有粗大误差的野值点。
3.1.3 剔除偏离点
  令对其进行精度测量并且独立获得
计算,再计算出标准差 ,如果某测量值 的剩余误差
(3-3)
,对算数平均值x以及剩余误差
进行
,满足以下公式:

则认为 应该剔除。
3.1.4在序列信号中的应用
  根据拉伊达法则可知,拉伊达法则适用于符合正态分布的样本,所以在对序列信号野值点的剔除当中,应对信
号的分布规律进行检测,如果符合正态分布,则可以利用拉伊达法则剔除野值点。求出信号的算数平均值和剩余误
差,再根据贝塞尔法则对其进行标准误差 的计算,若某个信号值的剩余误差超过标准误差的三倍,也就是 时,
该信号点被认定为野值点,应给予剔除[15]。另外,根据拉伊达法则的特点我们了解到当样本量较大时,利用该准
则效果较好,所以较短的序列信号不适用这种方法。
3.2残差检测法
在残差检测方法中,基于卡尔曼滤波残差确定判别的标准,从而使用卡尔曼滤波估计以及校正野值。
3.2.1卡尔曼滤波
  卡尔曼滤波本质上是一个数据融合算法,将具有同样测量目的、来自不同传感器、(可能) 具有不同单位
(unit) 的数据融合在一起,得到一个更精确的目的测量值。其利用线性系统中的状态方程,从而利用输入与输出的
数据来估计系统。
  线性系统是服从均匀性和叠加性的系统。 所谓叠加性指的是,在系统之中当几个输入信号同时作用时,总输出
等于每个输入单独作用时产生的输出总和。 均匀性是指随着输入信号增加几倍时,输出也相对应的增加相同的倍
数。 对于线性连续控制系统,可以利用线性微分方程表示。
由于观察到的数据包含着系统中的噪声和干扰的影响,因此最佳估计可以视为滤波过程[16]。
  数据过滤是一种数据处理技术,可以消除噪声并恢复真实的数据。 如果知道测量的方差,则可以利用卡尔曼滤
波估计出一组数据或者噪声测量值的动态系统的状态。 由于其计算机程序易于实现,并且可以实时更新和处理现场
收集的数据,因此,卡尔曼滤波是当前的通信、导航、制导以及控制领域最广泛使用的滤波方法。
3.2.2卡尔曼滤波的基本思想
  卡尔曼滤波使用预报估计值的方差作为指标来评估数据质量,由卡尔曼增益得出并根据预报估计值的方差将权
值分配给使用输入和输出卡尔曼增益计算出的理论值和实际值,以获得最佳估计。
  卡尔曼滤波估计与线性最小估计的方差是相同的,估计同样是量测值的函数,只要是滤波器的初值,其中包括
初始值选择正确,其估值也是无偏的。
(3-4)
(3-5)
(3-6)
  其以递推的形式作为其计算方法,在k时刻的基础上,根据k时刻的量测值Zk,递推得到k时刻得状态估计值[17]

3.2.3滤波的处理步骤
1.预报估计
(3-7)
2.预报误差协方差矩阵
(3-8)
3.滤波最佳增益
(3-9)
4.滤波估计 ( 状态估计 )
(3-10)
5.滤波估计的均方误差

(3-11)
  在上式中: 为时刻k处的状态估计值;
是时刻k1的噪声驱动矩阵; 为是从k1到k的状态转移矩阵 时
刻k的测量矩阵,
是X的均方误差矩阵;; 是时间 k的观测向量; 是时刻 k1的系统噪声序列的方差矩
阵,它是非负定矩阵; 实在时刻k的测量噪声序列的方差矩阵,它是正定矩阵; 是滤波增益矩阵[18]。
  如果使用的是卡尔曼滤波,则需要预测和评估首先要过滤的数据。 如果滤波器模式与实际运动相匹配,它将减
小预测测量值和实际测量值之间的差异。 因此,残差的绝对值可以用作提供奇异性残差的阈值 的基准。如果残差
的绝对值是大于阈值,则这些点可以认定为野值点,并且使用卡尔曼滤波器预报估计值来修正野值。否则,该点是
正常点。目前在滤波处理过程中,将(3-10)式替换为[19]:
(3-12)
当利用残差检测法时,将卡尔曼滤波步骤中的(3-7)式改为(3-9)式。
3.2.4在序列信号中的应用
  根据上文叙述的卡尔曼滤波的基本前提可以知道,若序列信号若想利用该方法进行滤除野值点,也要满足模型
精确和随机干扰信号的统计特性已知的线性系统。k为离散时间,系统正在k时刻的状态为

为对应状态的
观测信号,参数 为估计值, 为观测值,再根据上文所述的递推算法便能够对序列信号的野值进行修正[20]。
3.3时域微分法
  本文从采用的时域微分法区别于傅里叶时域微分法,离散傅立叶变换(DFT)是时域和频域中傅立叶变换的离散形
式,并将时域信号的采样转换为离散时间傅立叶(DTFT)的频域中的采样。形式上,变换结束的顺序(时域和频域)
具有有限的长度,但是在实际中,这两组序列的应被视为离散周期信号的主值序列。 即使DFT在有限长度的离散信
号上运行,也需要将其视为经过周期性延拓和变换后的周期性信号再变换。
  时域的计算性质是研究时间t的函数f(t)的导数和积分的傅里叶变换。 在应用基本性质来解决函数的傅立叶变
换的过程中,由于对某性质的把握不准确包含对性质的不正确不全面的理解、使用条件不准确的理解把握,会发生
不必要的计算错误。
3.3.1时域微分方法的原理
  本文中使用的时域微分方法通过计算参数的时域微分,并判断设置微分值和阈值之间的关系来发现野值点。为了
在操作中删除成片野值点和孤立野值点,该方法可以确保数据的完整性和准确性。
  设时间序列为

, 为采样频率
的时域微分记为 x ’ (t j
),j = 1,…,N-1,计算方法如下:
(3-13)
  由于实测参数的特性可以看出参数变化的梯度很小,由于奇异点而致使梯度突然变化,从而可以获得参数的时
域微分,并且可以得到微分值和设定的阈值的大小关系[21]。
3.3.2在序列信号中的应用
  上文所述的时域微分的方法也可以用在序列信号的野值剔除中,将x(tj)作为信号序列,在利用公式(3-13)得出
微分值,设置一个门限值,将微分值与门限值的大小进行对比,若微分值大于门限值,则该点所对应的信号点是野
值点,应给予剔除。这种方法的优点是对于序列信号的限制较小,计算量小。

3.4小波变换法
3.4.1小波变换理论
  小波分析是一个基于傅里叶分析近年来逐渐发展起来的信号处理的工具。小波(wavelet),即小区域的波,仅在
非常有限的一段区间具有非零值,并且不是无限的,就像正弦波以及余弦波一样[22]。小波可以沿时间轴前后平
移,并且可以按照比例伸展、压缩以生成低频和高频小波,构造好的小波函数可以用于滤波或压缩信号,所以能够
从包含噪声的信号当中提取出有用信号。
小波变换主要处理由 R 上平方可积分函数形成的函数空间
条件[23]:
,对于小波函数
,需要满足如下允许
(3-14)
对任意的函数
的连续小波变换如下:
(3-15)
式中
—小波基函数。
  这是通过窗函数
,时间平移 ,尺度伸缩
得到的。 常数 a 和 b 分别称为尺度参数
和平移参数
,其中尺度
在一定意义上对应于频率 ,即尺度越小,对应频率越高,尺度越大,对应频率越低。所以
小波变换不但能准确的分析高频成分,而且可以准确分析信号中的低频成分[24]。
  小波变换拥有空间局部化的性质,信号的时频分析可以通过对信号进行连续的小波变换来进行。 即可以在对应
于某尺度
的分量的某时间
观察到信号。通过对离散小波的简化达成了简化计算的目的,常用的离散化方法
使a作为幂级数进行离散,而
为整数),如果取
在尺度内进行均匀离散。即
,
(
,
, ,
,并且将 轴用 归一化,有
(3-16)
(3-17)
信号
的离散小波变换为
  可以重复进行小波分解过程以实现多层小波分解,称之为多分辨率分析或多尺度分析。可以将实域R的整数平方
可积空间
内的函数f描述为一系列近似函数的极限函数。 这些拟合函数在不同的尺度上获得。信号中的野值
在频率域应当对应于高频成分,所以通过小波分解后,在小波分解后的细节分量中应当包含着野值数据。通常,在经
过小波变换后的信号,野值的小波细节分量在小波域中分布,各层设阈值对于小于阈值的细节分量认为是包含野值
信息设0处理,然后用各层细节分量进行信号重构,得到去野值后信号[25]。
  小波变换的特点有很多,也为小波去噪方法做出了很大的贡献:低熵性,小波系数的分布较为稀疏,使得变换
之后的熵降低;多分辨率,得益于多分辨率这种方法,可以很好地描述非平稳信号的特征[26];去相关性,相对于
时域来说小波域更加利于去噪;选基灵活性,不同的研究对象来选用不同的小波母函数。
3.4.2小波去噪方法
  从信号学的角度看,小波去噪是一个信号滤波的问题,而且尽管小波去噪很大程度上可以被作为低通滤波,但
是因为其在去噪后还可以较好地保留信号特征,因此在这一点上比传统低通滤波器要好。由此可见,小波去噪实际

小波去噪方法有 3 种。
(1)强制去噪
  这种方法把小波分解的高频分量强制为零,舍弃所有高频分量信息,然后对信号进行小波重构,计算容易,且
获得的信号相对平滑。
(2)阈值去噪
阈值去噪包含硬阈值去噪和软阈值去噪。
硬阈值去噪法:
(3-18)
软阈值去噪法:
(3-19)
  其中x是高频系数,
是通过阈值量化的高频系数,阈值为T=σ
。硬阈值降噪过程可找到每层高频分
量的阈值,如果绝对值小于或等于阈值,则将高频系数设置为0,并且将其绝对值超过阈值的高频系数直接存储而不
进行处理。软阈值噪声去噪法使得绝对值小于或等于阈值的高频系数置0,绝对值大于阈值减去阈值的正高频系数加
上阈值,对软阈值进行量化之后重构信号,获取的信号相对平滑。
(3)模极大值去噪
  模数极大去噪方法使用Lipschitz指数来找到与每个尺度的小波变换系数相对应的系数的模极最大值点,不同阈
值对不同尺度层进行处理模极最大值,并且从该位置重建所保留的模极大值的小波系数。 利用重构的小波系数去进
行小波逆变换,从而得到消除噪声后的信号。
3.4.3在序列信号中的应用
  小波分析法现如今的利用率非常的高,该方法对于序列信号的适用性也比较良好。小波分析的方法较多,在序
列信号的野值点剔除中,阈值去噪法应用广泛,先设定一个阈值
作为野值点置零,绝对值大于阈值的高频系数不做处理直接保留。
3.5本章小结
,将绝对值小于等于阈值的高频系数
  本章继上一章介绍序列信号后,继续介绍检测、剔除野值点的方法。本文共介绍了四种检测、剔除野值点的方
法,分别是:拉伊达法则、残差检测法、时域微分法、小波去噪法。我们首先引出了野值点的概念,了解其概念之
后,我们以此介绍了几种检测、剔除野值点的方法,分别从原理出发进行详细介绍,充分了解了其特性以及应用。

第4章 野值点检测、剔除的仿真分析

4.1 开发工具简介
本次研究和仿真两种时频分析方法所选用软件工具的是MATLAB。
  MATLAB为matrix和laboratory这两个词的组合,代表矩阵工厂(Matrix Lab)的意思。MATLAB是Math works公司
在美国发布非常高科技的计算环境,主要用于科学计算、可视化和交互式编程。该软件在易于使用的窗口环境中集
成了许多强大的功能,例如数值分析、矩阵计算、科学数据可视化、非线性动力学系统的建模和仿真,使其非常适
合用于科学研究、工程设计、有效数值计算等众多科学领域,并提供了诸多解决方案。大大的消除了和避免了传统
的非交互式编程语言(例如C,Fortran)的束缚,并且代表了当今国际科学计算机软件的先进水平[27]。
  MATLAB是由一系列工具组成的,这些工具方便使用者使用MATLAB的各种函数和工具模块。MATLAB为用户提供了
非常方便的联机查询和帮助系统,为简洁的编程环境提供了更完整的调试系统,程序无需编译即可直接运行,可以

及时提供错误反馈,并解释错误原因。自创建以来,MATLAB拥有便利的数据可视化功能,以图形方式显示向量和矩
阵,以进行数据可视化,还可以显示和打印图像,从而为用户带来更多便利。
  如今MATLAB对许多专门的领域都开发了功能强大的模块集和工具箱。其中就包括小波分析、信号处理、非线性
控制设计等。MATLAB提供了广泛的应用空间,包括信号和图像处理、控制系统设计、测试和测量,财务建模和分析
以及计算生物学。其他附加工具箱扩展了MATLAB的应用环境,为用户解决了更多问题,并提供了更加方便的操作。
4.2 拉伊达法则仿真
4.2.1 MATLAB主要程序以及流程图
  此程序为对信号利用拉伊达法则来分析、剔除野值点,先检测该信号是否为正态信号,如果是正态信号,才可
以利用拉伊达法则来进行野值点的剔除。
[h,p]=lillietest(a)
sig=std(a);
m=zeros(1,length(a));
i=1;
for t=1:length(a)
m(t)=abs(a(t)-aa);
if m(t)>3*sig
n1(t)=aa;%
num(i)=a(t);
i=i+1;
else
n1(t)=a(t);
end
end
在这里插入图片描述

图4-1 拉伊达分布流程图
4.2.2 仿真结果及分析

首先该程序输入的解析信号为采样率为1000,x的范围是[0,1-1/Fs]的信号;先判断该信号是否为符合正态分
布,如果是正态分布,则返回值h=1,如图4-2中,图(a)为该解析信号的原图像,图(b)是利用拉伊达法则对原信号
进行野值点剔除后的信号。
(a)原图像
(b)拉伊达法剔除野值后图像

若解析信号是非正态分布的话,返回值h的运行结果,h=0。返回值p为方差概率,也可以说事情的发生概率,
p<0.05(显著性水平通常取0.05,还有0.025和0.01三种情况)为不可能事件,拒绝;p>0.05,接受[28]。通过仿真实
验,对于原信号和经过拉伊达法则处理的信号进行分析后,发现这种判别处理原理及方法局限于对正态或近似正态
分布的样本处理,原始信号的噪声采用了均匀分布的白噪声和高斯分布的白噪声的混合噪声,根据剔除野值点之后
的图像所知,这种方法对于均匀分布的白噪声和高斯分布的白噪声的混合噪声的效果比较一般。
4.3 残差检测法
4.3.1 MATLAB主要程序与流程图
  该程序利用残差检测法完成了对原信号进行野值点的检测和剔除以及修正,分别对原信号,预测信号以及剔除
野值点的后的信号进行了仿真分析。
for k=2:N
X(k) = A * X(k-1)+V(k-1);
end
Q=std(V)^2;
R=std(w)^2;
Z=H*X+w;
for t=2:N
P(t) = A * P(t-1)+Q;
S(t) = H.^2 * P(t)+R;
K(t) = H * P(t)/S(t);
v(t) = Z(t) - ( A * H * Y(t-1) );
Y(t)=A * Y(t-1) + K(t) * v(t);
P(t)=(1-H * K(t)) * P(t);
end

在这里插入图片描述

图4-3 残差分布流程图
4.3.2 仿真结果及分析
  该方法是利用卡尔曼滤波残差作为判断依据,用卡尔曼滤波估计来加征野值点,如图4-4所示,其中图(a)为原
信号,图(b)为预测检测修复野值后的信号分布,图©是检测修复野值后的信号分布。

该方法是对线性系统状态方程进行利用,可根据输入和输出的观测数据,将系统状态进行最优估计的算法[29]
。通过图(b)和图©的对比可以看出,经过残差检测法后,对于野值点的检测、剔除以及修正后的信号与预测值相
似,误差较小,并且这种方法不仅仅是对野值进行剔除,还将野值进行修正改为正常值,大大提高了信号利用率
[30]。
4.4 时域微分法
4.4.1 MATLAB主要程序和流程图
  此程序将信号利用了时域微分的方法对野值点进行剔除的仿真分析,给出了该信号的原图像和去野值后的仿真
图像。
if t=0:1/Fs:1-1/Fs
w=(Signal_Original_2-Signal_Original_1)/(1/Fs);
if w<0.5
Signal_Original_3=Signal_Original_1;
end
end

在这里插入图片描述

图4-5 时序微分法程序图
4.4.2 仿真结果及分析
  此程序的序列信号为

4.5 小波变换法
4.5.1 MATLAB程序
  信号在经过小波变换后,野值的小波细节分量分布在小波域,用各层细节分量进行信号重构,来剔除野值。信
号该程序通过利用小波变换法对两种信号进行野值点的处理。
subplot(4,1,2);
  [xd,cxd,lxd] = wden(Mix_Signal_1,‘sqtwolog’,‘s’,‘one’,2,‘db3’);
stem(n,xd); axis([0,1000,-5,5]);
title('小波滤波后信号 ');
subplot(4,1,4);
  [xd,cxd,lxd] = wden(Mix_Signal_2,‘sqtwolog’,‘h’,‘sln’,3,‘db3’);
stem(n,xd); axis([0,1000,-10,30]);
title('小波滤波后信号 ');

4.5.2 仿真结果及分析
  该程序的两个信号分别是
和一个阶跃信
号,对两个信号分别加入噪音后利用小波变换的方法对两个信号的野值进行处理。如图4-8中,图(a)为信号一的原
信号,图(b)是信号一剔除野值后的信号;如图©为信号二的原信号,图(d)是信号一剔除野值后的信号。
在这里插入图片描述

图4-8 小波变换法
  从图(b)和图(d)中的处理结果可以看到,对野值的剔除效果明显,两种信号的处理效果较好,但是这种方法要
尽量选择单一的信号,如果选择批量信号,数据的准确率就会下降。
4.6野值点剔除仿真对比分析
  上文中介绍了四种方法可以对野值点进行检测和剔除,下述将对这四种方法对同一信号进行野值点的检测和剔

除,并对其进行仿真分析。
  将信号
作为原始信号,由于拉伊达法则只
有信号符合正态分布的统计规律时能够对其进行野值点的检测和剔除,运行结果为返回值h = 0。
  在信号中加入噪声,分别利用剩余三种方法(时域微分法、小波变换法、残差检测法)对其野值进行剔除。下
图4-9中,图(a)为加入野值后的原信号,图(b)为利用时域微分法后对野值的剔除效果,图©为利用小波变换法后
对野值的剔除效果,图(d) 为利用残差检测法后对野值的剔除效果。

图4-9 信号一不同方法对比图
在这里插入图片描述

上述信号剔除野值的三种方法的仿真结果和信噪比进行分析对比,可以发现残差检测法对于野值点的剔除效果
最好,剔除后的信号也较为平滑,而且能够对野值点进行修正,小波变换法的效果介于两者之间,而时域分析法虽
然看起来波形较为光滑,但是野值点有些没有剔除,还有一些非野值点被误判成野值点被剔除。
  再选择另外一个信号为矩形序列信号作为原始信号,同样的该信号的统计与特性为非周期信号,使用拉伊达法
则方法的返回值 h=0。在信号中加入噪声,分别利用时域微分法、小波变换法、残差检测法对其野值点进行剔除。
下图4-10中,图(a)为加入野值后的原信号,图(b)为利用时域微分法后对野值的剔除效果,图©为利用小波变换法
后对野值的剔除效果,图(d)为利用残差检测法后对野值的剔除效果。

同样的,上述信号剔除野值的三种方法的仿真结果和信噪比进行分析对比,可以发现对于阶跃信号来说小波变
换法的效果更好,残差法的效果介于两者之间,而时域分析法的剔除野值效果较为一般,同样的也是野值点有些没
有剔除,还有一些非野值点被误判成野值点被剔除。
  通过仿真实验结果分析,对于符合正态分布统计的序列信号可以利用拉伊达法则剔除野值点,但是对于长度较
短的信号效果欠佳。残差检测法的应用范围就较为广泛了,而且可以对野值进行修正,对信号的处理效果较好,但
是在对于信号系统不确定的情况下适用性较差。时域微分法计算简单,限制较小,但是,这种方法经常会对一些非
野值点也进行剔除,误剔除率较高。小波分析法,该方法的计算速度很快,但是有可能会出现伪吉布斯现象。
4.7 本章小结
  本章主要介绍了对四种检测、剔除野值点的方法进行MATLAB仿真。首先简单介绍了本次研究所用的软件
MATLAB,了解并熟悉MATLAB软件的基本操作;然后介绍了本次研究的主要的四种检测、剔除野值点方法的仿真,给
出了MATLAB程序,以及仿真结果,并就这些仿真结果进行分析。通过仿真结果可以看出,本次研究仿真基本上完成
了目标,达到了对信号的解析。最后,基于以上四种方法完成了对序列信号野值点检测的分析仿真。

结 论

这次设计主要研究序列信号野值点的检测技术,并对主要的四种分析方法进行了重点研究,并在MATLAB软件上
对四种分析方法进行仿真分析。
  首先,对序列信号进行见到那的介绍。然后,从野值点的发展背景以及研究意义出发,了解野值点检测和剔除
的历史发展历程,迄今为止国内外的研究现状,以及剔除野值点这一技术的发展未来。之后,本文研究了序列信号
野值点检测和剔除的方法,并对其中四种重要的分析方法:拉伊达法则、残差检测法、时域微分法、小波变换法,
并对这四种方法进行了重点研究学习。在有了理论知识的基础上,进行研究学习,然后通过学习MATLAB软件,对四
种方法进行仿真分析。最后,在MATLAB的帮助下,成功的完成了对四种剔除野值的方法进行仿真分析,通过仿真结
果,发现了四种方法的特点以及他们各自的优缺点。结果上看,残差检测法和小波变换法的对野值的处理效果都较

致 谢

季逢孟夏,岁在辛丑,四载悠悠,感恩遇见。
在本论文完成之际,首先向我的指导老师吴云教授表示衷心的感谢。
  无论从毕业设计选题开始,还是到理论知识的学习和软件的仿真以及最终的论文撰写,吴云老师始终都以认
真、严谨、热情的态度给予我指导,不厌其烦的回答我的问题。老师专业知识渊博,工作态度严谨,对学生和蔼可
亲,对待科研求真务实,这些都给我留下了深刻印象。在这段时间里,老师指导我的不仅是课题设计的专业知识,
还教会了如何严于律己、严谨工作的精神,这些都会让我今后受益无穷。在此向老师致以崇高的敬意和由衷的感
谢,饮其流时思其源,成吾学时念吾师。
  其次,感谢东北石油大学电子科学学院的全体老师,感谢你们对我的悉心教学和帮助。在这四年中,我遇到的
所有老师都亲切随和、治学严谨、学士渊博,令我敬仰。不但在专业学习上认真严谨教育我们,在生活中也经常帮
助我们。老师们的付出我都铭记在心,老师们的教导也将对我受益一生。其次还要感谢我的同学们,大学生活中感
谢你们得陪伴,也感谢你们在我遇到困难得时候提供了无私帮助以及支持,在课题设计等方面遇到难题的时候给予
了我鼓励和帮助,正是因为有了你们的鼓励和支持,我的论文才会顺利完成。最后要感谢的我的家人们,给予我的
帮助和支持,你们就是我前行路上的强大后盾,亦是我不懈努力的动力。
  感谢东北石油大学为我提供的优良的舒适学习环境,感谢各位领导、各位老师的悉心教育和指导,让我一直能
克服困难,不断前进。
最后,再次对支持过和帮助过我的所有人,以及参与论文评阅的所有老师表示衷心的感谢。
大学生涯始于2017年白露,终于2021年夏至。愿前途坦荡,上下求索。

Logo

魔乐社区(Modelers.cn) 是一个中立、公益的人工智能社区,提供人工智能工具、模型、数据的托管、展示与应用协同服务,为人工智能开发及爱好者搭建开放的学习交流平台。社区通过理事会方式运作,由全产业链共同建设、共同运营、共同享有,推动国产AI生态繁荣发展。

更多推荐