基于LSTM神经网络的电离层参数预测算法研究(支持资料参考_相关定制)
基于LSTM神经网络的电离层参数预测算法研究摘要电离层通过影响电波传播给人类活动带来诸多不便,相关研究是无价的。作为研究电离层形状和结构的重要参数,总电子含量(TEC)是空间系列物理学的重要研究课题。虽然目前购买的电离层 TEC 数据不能满足人类适时的需求,但电离层 TEC 预测模型可以预测未来可用于导航和通信等各个领域的 TEC 值。对于 TEC 电离层网格值预测,大多数基于历史数据的有效预测模
基于LSTM神经网络的电离层参数预测算法研究
摘要
电离层通过影响电波传播给人类活动带来诸多不便,相关研究是无价的。作为研究电离层形状和结构的重要参数,总电子含量(TEC)是空间系列物理学的重要研究课题。虽然目前购买的电离层 TEC 数据不能满足人类适时的需求,但电离层 TEC 预测模型可以预测未来可用于导航和通信等各个领域的 TEC 值。对于 TEC 电离层网格值预测,大多数基于历史数据的有效预测模型来源于自回归移动平均模型 (ARMA) 和神经网络方法等传统方法。针对上述问题,本文提出了一种近年来发展较快的深入研究方法,利用传统的TEC、太阳活动变量和地磁活动变量来设计参数集测试并获得最适合的参数集来拟合。电离层TEC网格预测模型的深度研究网络。未来 24 小时内的 TEC 预测测试将在全球 60 个电网位置进行。结果表明,本文的TEC网格信号预测模型在北半球比在南半球的适应性更强,且低纬和低纬之间的网格信号适应优于高纬网格。磁扰动期预测模型的相关性略高于磁扰动期单基因预测TEC电离层模型的记忆网络(Bi-LSTM),预测模型的平方根法误差(RMSE)在本文将平均减少19.2%。本文还将所考虑的预测模型应用于之前地震中TEC电离层异常。检测 本文利用样本预测的TEC,对震前TEC异常背景检测值,对震前电离层TEC异常值进行提取试验,将于2017年8月8日在九寨沟进行。基于本文模型预测的TEC背景值,TEC阵列的有用性可以在靠近所获得震中的网格位置中找到。该方法可以在地震前更早地检测到不良的TEC集热器,更容易检测到好的集热器。深度学习技术创建电离层TEC电离层信号预测模型,提供技术聚合,有效利用预测。地震前TEC异常检测模型。
关键字:电离层;TEC格点预测;GRL模型;震前TEC异常探测;
目录
摘要 I
Abstract II
第一章 绪论 1
1.1 研究背景与意义 1
1.2 国内外研究现状 2
1.2.1 国内研究现状 2
1.2.2 国外研究现状 3
1.3 研究内容与创新 6
1.4 论文组织结构 8
第二章 相关理论及技术 9
2.1 大数据预处理技术 9
2.2 大数据时间序列及分析方法 12
2.2.1 时间序列处理技术 12
2.2.2 时间序列分析常用方法 13
2.3 深度神经网络相关理论 13
2.3.1 神经网络及深度神经网络原理 14
2.3.2 LSTM神经网络 16
2.4 本章小结 18
第三章 适合LSTM算法的大气电离层参数预处理设计 18
3.1 大气电离层参数数据特征分析 18
3.2 数据预处理算法对比分析及选择 19
3.3 数据预处理实现及结果分析 19
3.3.1 数据预处理方法设计 19
3.3.2 数据预处理结果分析 20
3.4 本章小结 22
第四章 基于LSTM神经网络时间序列相关性分析模型构建 23
4.1 问题的提出 23
4.2 问题解决及模型构建思路 23
4.3 基于注意力机制的自适应LSTM神经网络模型设计 24
4.4.1 基于注意力机制的模型基本结构及思路 24
4.4.2 模型训练方法设计 25
4.4.3 模型效率及精度理论分析 27
4.4 实验仿真验证及结果分析 28
4.4.1 实验平台及参数介绍 28
4.4.2 基础数据集及对比分析算法的选择 29
4.4.3 实验及结果对比分析 31
4.5 本章小结 31
第五章 自适应LSTM神经网络模型在电离层参数预测算法设计 32
5.1 问题的提出 32
5.2 算法总体思路及方案设计 33
5.3 电离层参数预测分析算法核心模块设计 34
5.4.1 时空细胞状态模块设计 34
5.4.2 时空信息融合模块设计 34
5.4.3 外部影响因素分析模块设计 38
5.4.4 电离层参数时间序列预测模块设计 40
5.4 算法仿真及结果对比分析 41
5.4.1 仿真环境搭建及对比算法选择 41
5.4.2 本文算法功能仿真分析 42
5.4.3 不同算法性能对比分析 43
6 总结与展望 44
6.1 总结 45
6.2 展望 45
参考文献 46
第一章 绪论
1.1 研究背景与意义
地球上空大气的电离层区域在距离地球表面上空50-2000km的范围内,在地球大气层的上层,电离层是由太阳辐射形成的,太阳辐射使大气分子电离。电离层受到低速和高速无线电信号的严重影响,主要改变信号的速度、路径和相位。事实上,电离层对无线电信号有五个主要影响:信号弯曲、信号衰减、多普勒运动、极化角旋转以及与信号频率有关的散射延迟。一旦无线电信号通过电离层传播,它就会增加许多影响,并对其传播产生重大影响。由于电离层对无线电信号的传播具有如此大的影响,许多技术技能,如导航、通信、电子学,需要参与无线电信号的传播,电离层的影响非常广泛。随着美国GPS系统和俄罗斯glonass系统的改进,中国和其他地区的dipdo系统的持续建设和发展,以及扩大和扩大的潜力。GNSS模型已经创建。在地理研究、机械研究、风监测和空间生态学等领域广泛应用。GNSS系统的工作方式是,当接收器接收到卫星发出的无线电信号时,它根据信号传输时间和频谱位置确定了卫星和接收者之间的几何距离。在传播过程中,无线电信号不受电离层的影响而产生同样的电离层误差,但还涉及到许多其他因素,如卫星端的时钟误差、星历误差等,接收机时钟发送端错误等。传播过程中存在多路径属性的对流层误差。在所有这些误差中,电离层是影响位置加速度精度的最重要误差之一,这直接关系到加速度结果的好坏。。
由于电离层对测绘导航领域中的卫星导航定位的影响十分显著,这些影响在长时间运行的车间信号和由地面站发射机提供的卫星发射的发射机相位信号中最为明显。由于电离层本身的物质是一种分散的介质,卫星发射的信号经过电离层后,其传播路径发生变化,速度受到明显影响。这个效果的具体作用是:(1)范围误差。卫星发出车间信号和不同频率的载波相位信号后,经过电离层后,这两个信号受到电离层的影响,导致了频段的相位发生延迟。(2)测速误差。造成误差的主要因素是电离层TEC的转换率和效率低下以及用户端口的动态速度; (3)信号强度的降低。除了车间误差外,由于电离层的偏差,卫星信号在通过电离层后也会发生滑移,信号会在短时间内衰减。电离层闪烁相位的成因是电离层不规则旋转引起的载流子相位变化。电离层产生的误差对加速度和位置有显着影响。削弱电离层误差影响的方法主要有3种:一种是利用双频视图的组合来消除电离层误差,这种方法的目的是使用双频接收机,但是这种方法也有一些缺点,即,结果的组合增加了噪声,也影响了位置结果。其次,广播星历可用于减少电离层误差的影响。这种电离层校正方法有多种类型的应用,可供单频/双频用户使用。但这种广播星历编辑方式的缺点是编辑能力小,编辑总量不超过70070,难以满足最苛刻用户的需求。三是使用事后电离层产品。国际IGS分析中心基于全球监测站的可视化数据,打造了一系列电离层产品,可为用户提供高电离层读数。GNSS的不断发展和完善为电离层TEC的持续长期观测提供了契机,也为深入研究电离层提供了丰富的观测数据。
由于电离层对于无线电的传播会产生巨大的影响,受此影响,GNSS的导航定位误差可达数米甚至十米,普通用户占据大部分市场。因此,电离层TEC的估计对于保证单频用户的定位要求具有重要意义。然而,高精度GNSS加速定位技术的发展离不开高精度同类产品(卫星辐射、钟差、电离层等)的开发,缺乏实时性,大部分GNSS导航和状态- 最先进的技术和应用实际上还处于技术研究和数据处理中。为满足单频用户对准确及时的导航定位的需求,随着时间的推移产生了实时卫星轨道结果和时钟误差结果。IGS分析中心提供的高电离层结果无法满足时间和分辨率的要求,也难以使用广播星历来调整电离层长度以满足用户的需求和定位精度的要求。因此,深入研究电离层实时统计方法和TEC电离层预测方法可以保证电离层的高延迟和最优的单频加速和用户定位,应用领域非常广泛和重要。
1.2 国内外研究现状
尽管GNSS等观察工具不断发展,但观测精度却在增加,为电离层研究提供了一个良好的数据库。国内外的专家使用GNSS数据提供的电离层数据进行研究,以预测电离层TEC和电离层在地震中预测的应用研究。。
1.2.1 国内研究现状
为了准确地表达电离层和电离层中电离层和空间的变化和分布定律,TECs通常使用GNS数据进行时间和空间建模,模型通常使用数学模型来描述电离层TEC中观察到的数据,并根据模型预测数据。电离层预测模型被分成相变角度的组,可以被划分为TEC电离层的长期预测模型和TEC电离层的短期预测模型。长期预测是,利用时区和空间电离层特征参数和太阳活动变量预测电离层和电子的平均月增长率。短期预测是使用可靠的方法来预测电离层传播过程中电子变化的总体电子参数的变化。TEC电离层的长期预测可以分为经验观察模型和电离层模型。身份验证模型是由TEC(如majemin)观察产生的。分析电离层技术与新农村太阳活动的关系,利用越来越低的阳光平均值来衡量tc平均的阳光预测;李雷模型(4)长期以来一直使用时间序列模型来预测TEC电离层的平均值,这证实了它的有效性,并被认为是预测光的平均值和线性的有效模型。技术委员会。mahda根据1980-1990年武汉站的电离强度数据分析了EOF,并在武汉站的本月中旬建立了一个TEC预测模型,人参数量很少;tal用1999-2011年代码中心提供的数据分析了赤道TEC电离层的两年等价波动。通过计算TEC电离层的平均值,你可以得到TEC值的正确余数。通过Lomb-Scargle周期图和另一边的小光谱学分析,创造多tec-反转方程来分析赤道粒子,这些粒子是通过多学科还原分析确定的。。
1.2.2 国外研究现状
参考电离层模型. 国际无线电联盟使用了一些与地球有关的观测,并将其与电离层研究的长期结果联系起来,以便在宇宙中开发电离层模型(IRI)。尽管改进了模型,但一些研究表明,在某些情况下,使用IRI模型来计算电离层的流程仍然存在重大误差。TEC还分析了更大、更长期的误差,表明,在白天至夏日期间,RI模型的平均值比月球低37%。根据GPS瞄准器的平均值,在均匀温度下的最大误差。此外,还有其他接近研究的时期,可以看到IRI模型在非太阳能电池中被用作TEC,这对于预测模型来说是合理的。。
电离层TEC的短期预测模型是电离层 TEC 的预测时间很短,从几个小时到几天。时间序列分析是使用参数模型分析数据处理行为的一个例子。在TEC的短期预测中,根据所选择的预测模型,经典的数学统计方法和人工智能方法被划分为经典。数理统计方法通常用于适当的分析方法在古典平均саморегрессивн模型运动,时间序列分析方法многониточн矫正,矫正期间电离层磁暴交叉点,太阳、电离层干预等例如,埃尔多安这样的人,利用时间序列方法数据分析电离层TEC,取自美国四个GPS传感器为了将tc电离层数据分为三个部分:对线性、相位差和AR C2样本的分析表明,该方法可以比较98%的偏离,Smin的平均误差为0.19;之前Smin TEC预期结果的平均误差可以限制在0.19;* lury young(33个环)使用TEC站的数据,使用自相关分析分析上海TEC数据。测试表明,这种方法可以预测TEC从1 Smin到24h,从15min到2.25 h,预测误差会随着预测时间的增加而增加,但在2.25 h之后达到湿度;李秀海提出了AR的半参数模型,并预测了TEC。结果表明,对AR半参数模型的短期预测更好。与正常的AIZ模型相比,长期预测准确性并不比AR模型好;像李奇刚这样的人使用圆形波进入TEC电离层,IGS提供,使用不同时间输入系数,使用具有平均回归值的模型。大约90%的人,比如陈鹏,用ARMA模型比较这些物体的值,将TEC离子数据编译成周期、随机和时间序列中的每个单词。结果表明,预期的方法起作用了;唐军和其他人正在使用它。用于预测每个阶段和提高预测准确性;微分模型开发、Elman神经网络和ARMA模型分析了TEC电离层的几个序列,结果明显高于预期的精度。。
常用的人工智能方法主要包括最小二乘支持向量机法、模糊理论、人工神经网络、灰色模型等方法。例如,Habarulema使用神经网络模型和IRI-2007来模拟和预测从2002年和2003年的几次磁风暴中提取的TEC数据,并比较这两种预测的结果。比较发现,类似的研究预测神经网络;李用混沌理论分析TEC电离层,建立了预测神经网络TEC的模型,计算了TEC电离层数据的质量。在这些因素的影响下,提供了一个多分段神经网络模型来提高短期预测的准确性:孙子分析了TEC参数的混沌特性,发现了余弦的形状。预测用来测量第一阶空间成分的可变混沌更有效;在foFz 1h和1d使用了修改模型之后,比IRI好多了。陈光诚在多次处理电离层后使用香港的GPS数据,使用神经网络技术模拟和预测电子密度并分析结果。。
最终,TEC电离层预测取得了许多研究成果,但由于电离层结构的复杂性和TEC预测的影响因素的数量,电离层模型无法满足人类的需求。由于已经建立了许多TEC电离层预测模型,适用于当地地区,因此不能充分利用预测模型的好处。如何分析现有的TEC数据,重新考虑TEC建模方法,选择合适的数学模型来创建一个更精确地反映TEC电离层不平衡定律的模型,是长期改进的关键。tc电离层压力预测精度。考虑到电离层回路对最精确的测量有多大的影响,它需要仔细考虑。由于TEC离子的准确预测,由于所有TEC数据的不准确和非线性性质,专家们无法通过经典的数学统计方法取得最好的结果。经典的数学统计方法,但不那么稳定。因此,需要通过进一步分析TEC电离层来修改和修正原始模型,以提高短期TEC的预测准确性。地震给人类带来了一场巨大的灾难,一场最可怕的自然灾害。当地震开始时,它可能会造成破坏,一个不能倒着的建筑,或者一场灾难。专家们正在研究各种预测地震的方法,而磁层前震和电离层地震的随机组合是预测地震的研究领域。1965年,巴恩斯在阿拉斯加地震中分析了这些干扰,并考虑到地震和电离层扰动之间的联系;1969年,韦弗研究了堪察加半岛南部的地震。1971年,当电离层参数首次被用作地震信号时,人们发现1966年塔什干地震期间中亚电离层E的电子总数。增加。从1979年到1981年,地震数是Mw5.0的几倍,显示了地震层的最大频率下降,电离层的突然频率作为地震带的空间。。;
Calais使用GPS分析1994年加州Mw6.7地震后TEC电离层的变化,发现TEC电离层在震中和远离震中发生变化,然后是异常。1999年Mw7.6地震的电离层特征研究表明,在地震前几天沿着磁赤道分布的电离层蓄电池向右移动;2003年墨西哥Mw7.8地震的研究和分析显示,地震前的TEC存在明显的异常。地震震级:Liu etal测试表明,通常在10点到14点之间,Sd的创伤后电离层电离层中,TEC的扰动是由地震前80%的剧烈震动引起的;2010年M7.2地震前在加州进行的tc分析显示,电离层积极和消极活动发生在地震前,电离层与地震有关的扰动发生在地震前15天;例如沙哈分析了1998-2014年的5.0次地震,显示电离层在地震发生前5天受到电击:地震时间范围内的地震波动高达15天,而宇宙飞船显示火山爆发最频繁发生在震中和震中;Akhoondzadeh, LSSVM方法被用来预测在尼泊尔M7.5地震前TEC的背景参考,与两种经典方法相比,这两种方法的电离球体腐蚀程度不同,证明这种方法是可能的。它被用来探测地震前TEC的电离层扰动。从1957年到1959年,杜佩恩分析了全球55次地震,发现了这一点。fofz具有很强的地震前浓度:Liu etal。1994-1999年台湾地震调查显示,西藏Mw7.5年和廷江地震发生前几天。FoFz在中午下降,发现了一场电离地震。直到两次地震;吴杨分析了2004-2011年地震前由IGS提供的新疆、日本和印度尼西亚的数据,发现地震前TEC受损;刘晓波分析了2008年汉阳地震和2010年的地震,分析了日本本州东海岸Mw9.0地震前后的离子粒子。3月8日,电离层异常将被视为日本“311”地震的第一个迹象。。
综上所述,专家们在震前研究了多项TEC电离层扰动,取得了多项研究成果。但是,在地震前电离层TEC粒子的探测中,探测结果的准确性是通过选取TEC背景值和探测的上下区域来决定的。滑动时间窗方法等。虽然这些方法是正确的,但它们严重依赖原始TEC数据,只考虑TEC数据的决策参数,考虑到未指定的参数,并且这些方法具有较大的系统误差和预测的TEC背景值不太准确。而且,这些方法在确定参考背景值上下限时没有准确的聚合标准,容易影响不同问题的确定。因此,如何准确计算TEC参考背景值,选择上下不同分辨率阈值,是准确识别震前TEC微分扰动的主要因素。
1.3 研究内容与创新
电离层是地球高层大气空域,自由电子大到足以干扰无线电波传输。电离层气候变化将对无线电系统产生负面影响,包括在危险情况下屏蔽无线电信号。为了提高无线电系统的性能,如通信、定向、雷达和导航、飞机飞行安全、精确预测和测量电离层渗透水平至关重要。目前,有两种主要方法可以预测电离层在国内外的意义。首先,直接使用电离层模型来预测。在这个模型中,使用最多的是Klobuchar车型,但他只0% ^包含电子总额的60%,最大的也只有10%。另一种方法是利用TEC电离层监测数据准确确定电离层TEC样本 这类样本大部分是根据单站电离层TEC数据确定的。本文采用多种方法,即时间序列、神经网络、灰质预测和聚合,以下具体研究资料:
(1)研究电离层TEC数据的获取和处理方法,通常通过 GPS 获得,即发射机与卫星之间的传输线与电离层之间的传输称为穿刺点,然后传输卫星位置和台站,即可获得挑战点的位置(电离层穿刺点)。 确定位置后,可以通过一系列方法获取数据。与这部分内部应用相关的主要问题是,由于人为弱点和机械故障等多种原因,数据将不完整。本文采用时间序列干预的方法来解决缺失数据,本节还对数据空间中TEC值的变化进行了简单的分析。
(2)在完全收到 TEC 数据后,进行了预测调查和时间序列预测方法。时间序列有几种模型:移动平均模型(MA模型)、移动平均模型(ARAM模型)、二元模型、阈值自回归模型(TAR模型)、AR和MA(p、d、q)模型、季节性ARIMA模型, 本文采用 ARIMA 模型进行预测。在预定程序之后,生成预测结果,然后分析正预测结果。
(3)用神经网络进行预测研究。本文采用BP神经网络,BP是前导网络的主要组成部分,它整合了神经网络中最重要、最有效的元素。三层或多层单向神经网络过渡,包括三层BP结构结构,隐藏和输出层,紧密连接在上下,没有一个神经元连接在每一层,三层BP网络结构设计,使用 BP 网络预测 TEC 值、分析错误并与时间序列进行比较。
(4)用灰色预测方法对TEC进行预测研究。根据灰色系统理论,清晰信息系统称为白色系统,模糊信息系统称为黑色系统,信息清晰但不清楚的系统称为弱系统。灰色模型的广谱为GM(n,h),n为模型新变量方程的级数,h为变量个数。基于灰色理论的GM模型(l, 1)的预测称为灰色预测,与传统的统计预测和简单的统计方法相比有很多优点。样本统计量要大,而不是修改预测模型,总是根据数据变化。预测分析完成后,将其与前两种方法进行比较。
(5)最后采用组合预测方法对上述三种预测结果进行优化比较。 一个方法的预测过程涉及到一个固定系统的抽取和化简,其中包含的变量和参数的选择必须尽量不费力;不同的模型从不同的角度比较系统有很多不同的特点。如果我们使用单个模型进行预测分析,会丢失一些有用的信息,从而丢失预测的准确性。 所以,更好的方法是结合不同的模型,取长补短,利用每种方法的有用信息来提高预测的有效性,提高预测的准确率。
1.4 论文组织结构
随着全球卫星导航系统的发展,人类研究电离层变得更加方便。 电离层TEC作为电离层的一个关键参数,受到了广泛好评。TEC的研究为人们了解电压、建立准确的电离层模型、校正电离层延迟和检测电离层异常提供了理论和数据框架。本文的目的是分析电离层的影响,并考虑结合电离层TEC预测模型,结合预测模型,找出雅安地震中电离层TEC的微分扰动。本文的标题如下:
第1章概述了电离层研究的背景和重要性,然后介绍了电离层TEC预测建模的目的和重要性。
第2章数据中描述了电离层的结构,描述了电离层TEC的定义,数据中描述了IGS提供的电离层TEC网格数据的结构和内容,然后是太阳活动、地磁活动、日变率和效果,分析电离层TEC的季节变化。
第3章首先介绍了EMD、EEMD和CEEMD三种常见的回归机制。在简要说明了它们的优缺点后,介绍了MEEMD。因此,基于MEEMD的弱点,将发布更好的1VIEEMD,并将其项目包括在内。使用上述生产方法,该方法组成相同的比较指标,以验证改进的MEEMD方法的有效性。最后,使用改进的MEEMD和1VIEEMD消除电离层TEC数据,进一步验证改进的1VIEEMD的有效性。
第4章总结了当前电离层TEC预测,根据电离层TEC数据的特点和近端ARMA样本的低预测,改进了MEEMD-ARMA电离层调整平衡,使用每个高(2000)和低工作日(2009)的七个电离层TEC数据集,分别分析了不同时间段的单相预测的准确性,长度和持续时间以及不同的时间。纬度相同,经度不同,时间相同。本文验证了预测模型的有效性。
第5章首先,TEC的差分干扰检测方法是传统方法。最后,说明了新方法检测参考背景值的计算步骤,确定了不同等级界限的取值方法,采用了传统搜索方法和新搜索方法。2013 年 4 月 20 日的地震证实了新方法的有用性和好处。
第6章对本文主要的研究内容和结论进行了总结,并对后续研究的展望进行简要的梳理。
第二章 相关理论及技术
2.1 大数据预处理技术
随着信息技术的发展和网络技术的进步,以及互联网+技术的引入,我们进入了一个大数据时代。需要更多数据和模型处理的数据质量要求反映了他们对数据完整性的准确性、独立性和效率的要求,即数据包含了所有需要收集和不能默认值的数据;所谓的数据独特性是索引不会重复或相互关联,每个索引都很重要;所谓的数据控制与数据有关,事实上,它并没有脱离所有级别的一般级别。输入工作中没有梯度形式的马刺。对于上述场景的需要,数据处理非常重要。一方面,数据处理可以帮助解决问题。另一方面,在初步数据处理过程中,可以优化“数据问题”数据,以获得所需的数据,从而提高重要数据的质量。大数据技术包括不同格式的数据,许多多通道数据集不能从简单和灵活的数据集中提取。数据通常具有数量、可变性和增长速度等特征。数据处理技术的导数包括云计算:分布式数据处理系统、分布式数据内存、云内存和虚拟数据结构:结构数据、结构数据和非结构数据。与此同时,数据正在以非结构化数据的比例增长,这导致了增长趋势,大数据处理技术的一般处理流程如图2.1所示。
图2.1 大数据处理流程图
对于大数据处理的过程有很多解释。这里是最流行的,即从数据本身出发,从数据源检索数据,对两类数据进行大数据处理:数据存储、数据处理、发布数据和关键数据处理没有大数据,技术就不可能存在。从一开始,技术工作的关键是首先从源获得数据。该方法完全分离:专业数据收集、从国家统计局提取、企业内部数据收集和网络购买;数据收集后应处理收到的数据、消除和替换不准确的数据和科学方法,以改进模型并得出更好的结论。写得更有信心的是,在处理完数据之后,数据必须以云计算的方式处理。使用分配。与较大的计算机块比较,保存数据的数据保存良好,使用数字模型,如提取、积分、插管、数据管理、统计、分析和预测科学、逻辑等,有必要的方法和数据管理,以找到数据的深层意义并将数据与数据结合起来。在整个数据处理过程中,数据处理技术的高水平和低水平决定了数据的准确性和可靠性,并在随后的数据分析中起着重要作用。大数据的预处理过程是一个非常复杂和基本的过程:数据分类和预处理、数据清扫、数据输入、反编译、数据循环和数据区,如大米。数据处理过程主要是替换和删除未使用的数据,这些数据在使用后可能与原始数据大不相同。数据清洗是对“脏数据”的分类和归约,使数据更好 对数据的整合、归约和修改是采取更深层次的数据,使模型作为具有高性能特征的数据模型,而数据的分离是为了去除数据之间的函数关系,更便于集成。不受所涉及的工作关系的约束,困难就出现了。本文主要分析了传统的重复数据、噪声数据和不完整数据的处理技术。
魔乐社区(Modelers.cn) 是一个中立、公益的人工智能社区,提供人工智能工具、模型、数据的托管、展示与应用协同服务,为人工智能开发及爱好者搭建开放的学习交流平台。社区通过理事会方式运作,由全产业链共同建设、共同运营、共同享有,推动国产AI生态繁荣发展。
更多推荐


所有评论(0)