基于大数据的市级智慧教育平台的设计与实现(源码+万字报告+部署讲解等)
目录第1章 绪论51.1课题背景及意义51.1.1课题背景51.1.2课题意义51.3 研究目标81.4 研究内容81.5论文组织结构9第2章 理论基础和相关技术102.1教育领域基本概念102.1.1智慧教育102.1.2云服务112.1.3教育云122.2云服务工程技术142.2.1大规模数据处理142.2.2分布式数据存储152.2.3Hadoop162.2.4HBase17
目 录
第1章 绪论 5
1.1 课题背景及意义 5
1.1.1 课题背景 5
1.1.2 课题意义 5
1.3 研究目标 8
1.4 研究内容 8
1.5 论文组织结构 9
第2章 理论基础和相关技术 10
2.1 教育领域基本概念 10
2.1.1 智慧教育 10
2.1.2 云服务 11
2.1.3 教育云 12
2.2 云服务工程技术 14
2.2.1 大规模数据处理 14
2.2.2 分布式数据存储 15
2.2.3 Hadoop 16
2.2.4 HBase 17
2.3 SOA设计模式 19
2.3.1 SOA的定义 19
2.3.2 SOA的关键特征 19
2.3.3 SOA设计模式的优点 20
2.4 本章小结 21
第3章 需求分析及模型 22
3.1 平台应用场景 22
3.1.1 平台应用场景分类 22
3.1.2 平台应用场景架构 23
3.3 平台设计需求 25
3.3.1 建立统一身份认证管理平台 25
3.3.2 建立数据共享与数据交换平台 25
3.3.3 建立市教育数据中心 25
3.3.4 建立教育电子政务系统 25
3.3 平台需求分析 26
3.3.1 信息化规划 26
3.3.2 数据标准建立 26
3.3.3 数据共享与数据交换 26
3.3.4 功能性需求分析 27
3.3.5 安全性需求分析 28
3.4 本章小结 31
第4章 总体设计 32
4.1 设计原则 32
4.2 技术架构 33
4.3 技术路线 34
4.4 系统架构设计 35
4.5 应用模块设计 36
4.6 安全性设计 1
4.6.1 安全套接层协议(ssL)设计 1
4.6.2 数据备份 2
4.6.3 基于USB Key的个人用户认证 2
4.6.4 数据逻辑安全性 2
4.7 本章小结 2
第5章 详细设计及实现 3
5.1 开发与测试环境 3
5.2 服务实现 4
5.2.1 服务接口 4
5.2.2 业务逻辑 4
5.3 智慧教育平台首页登录界面 5
5.4 移动子模块详细设计及实现 5
5.4.1 功能界面设计及实现 5
5.5 信息发布与管理子模块的设计与实现 10
5.2.1 功能设计与实现 10
5.2.2 流程设计 10
5.3 本章小结 12
第6章 测试与实施 13
6.1 项目实施质量目标 13
6.2 测试计划 1
6.2.1 测试标准 1
6.2.2 测试内容 2
6.2.3 测试方案 2
6.2.4 测试环境 2
6.3 测试用例及结果 2
6.4 本章小结 1
第7章 结论与展望 1
7.1 结论 1
7.2 展望 1
参考文献 3
致谢 6
第1章 绪论
本章主要对文章的研究背景和研究意义进行了深刻的阐述,同时分析了目前该领域国内外的研究现状,然后确定了本文的研究目标和研究内容。最后阐述了本文的组织结构。
1.1 课题背景及意义
1.1.1 课题背景
目前大数据在信息社会具有很重要的作用和广泛的应用,同时,互联网使用用户的数量不断的激增,导致大量新数据的产生,所以网络世界目前大量的数据产生并且泛滥,同时又表现出一定的特征:数据量庞大,结构无序化,价值大但是密度非常低,所以人们一直想寻找一种更加智慧的方式对这些数据进行处理。2008年美国IBM公司就提出了只能地球的概念,该概念就是利用先进的网络技术对收集到的数据进行汇总分类,然后根据分析结果为人们的生产生活等提供智慧,最终促进智慧交通、智慧网络和智慧城市等的实现。但是作为教育行业的辅助领域,智慧教育也同样具有很大的发展潜力。
目前大数据在我国属于比较先进的科技,其根据不同种类的数据分类,能快速的从数据中获得需要的数据。目前比较常见的有大数据技术、大数据工程和大数据科技等,都是大数据的应用领域。随着互联网技术的不断发展和大数据应用领域的不断扩展,人们对大数据的依赖性越来越强,大数据技术在教育领域的应用,使得人们对现代教育有了更高的要求。运用大数据技术对学生学习成绩进行分析,并并且根据分析结果对学生下一步的学习进行进一步的指导等。大数据对教育行业的变革不仅仅体现在学习方式方面,教师的教育方式也有了很大的变化。
早在2012年9月5日,时任国务委员的刘延东副总理在全国教育信息化改革会议上强调:“近期,要以三通两平台建设应用为重点工作,实现‘宽带网络校校通、优质资源班班通、网络学习空间人人通,建设应用好教育资源公共服务平台、教育管理公共服务平台”[1]。对于云计算理念的智慧校园建设、市级在线教育的普及,很多城市在网络教育、线上教育和远程教育等各方面都有很好地基础,可以根据国家教育平台的发展要求,进行统一的规范和要求,将各数据库和教学平台进行资源整合和利用,建设市级智慧教育平台为教育领域的建设和发展具有非常重要的意义。
1.1.2 课题意义
目前我国的信息技术发展速度非常快,在教学过程中依然按照传统的教学方式无法满足现代教学的需要和不断更新的知识量。教师在教学的过程中需要在教学方式改进和提高学生学习能力方面花费很大的精力。大数据信息越来越复杂,同时知识网络共享性也越来越高,所以高等教育的教学收到很大的冲击和挑战,学生可以通过各种各样的方式来获得知识和技能,高等教育就要对各个方面进行利弊权衡,不仅要使学生能够学到知识和技能,还要在综合素质和人文教育方面进行教育。教育方式也必须由过去的浇灌式转变成交互式,打破传统教育只限于理论教育的局限,树立更加开放批判的教育理念,只有这样才能与现在的大数据时代接轨。[2]
目前学校掌握的结构化和非结构化的数据也越来越丰富,数据的价值也越来越重要。智慧教育在教学的规划发展中将有着越来越重要的作用,建设智能化的数据采集系统可以使得教育数据获得更加高质量的教学数据。对数据资源进行归纳整理分类处理,从而为现代教学平台提供一个数据资源共享、学校家庭互动的新的教学平台。并从学校管理、教学数据中提取具有科学价值的信息,进行教学管理决策,减少决策行为的盲目性。让数据来反映教育制度的合理性,并逐步进行完善,用大数据为师生服务。
市级智慧教育平台是一个需要应用大数据信息技术的平台,它改变了以前学校的教育模式,大大提高了学校的教育质量,同时,也提高了教学效率。这个平台是以大数据为基础的教育,它的教育内涵是:(1)要围绕学生这个中心,教学活动的设计也是围绕着学生的喜好设计的,比较注重学生的个性化学习和发展;(2)能够及时的统计和分析。不管是对教学、教育资源的集中管理,还是对教学质量的实时监测,都能够做到及时准确的分析,还可以针对不同的角色,进行不同情况的分析,它主要可以支持教育局、学校、学生等多个方面,可以多层次多角度的统计分析;(3)便于管理。这个平台的出现,方便了学校的信息化管理,而且,还对学校的教学设施进行智能优化。对学校教育流程比较规范的老师,及时的推广,让其他老师学习,对学生和其他群体的信息能够及时完整的记录和管理;(4)学生和教师之间可以通过多种多样的方式进行交流,学生也可以体会到很多种的学习方式,使用更多的教育方式;(5)共享资源。学习资源随处可见,随时可以得到高质量的学习资源。
1.2 国内外研究现状
1.2.1 国内研究现状
在我国,智慧教育出现的和国际上的时间差不多,都是在2011年开始兴起的。我国针对智慧教育的研究是从信息化的角度开始的。截止目前,我国对智慧教育在实践上提出的层面相对多一点,很过国内或者国外的一些IT企业,都对智慧教育提出了一些解决的方案,例如:IBM、方正、华为等企业,而对于学术层面的研究,才刚刚开始。
关于智慧教育的内涵,很多学者分别从不同的角度来分析,例如:祝智庭、尹恩德、金江军等学者。祝智庭认为:智慧教育的核心技术主要是通过智慧环境支撑的,而智慧环境的核心技术是:智慧计算。智慧教育还要依靠智慧教学方法的指导,才能得以实现。其根本基石是智慧学习。伊恩德认为,智慧教育主要是利用现代高科技技术发展的,它通过互联网、云计算等这些新兴的信息处理技术,来发展自身,进行各项信息处理,统筹规划,协调发展,它的教育观念、教育内容和方法,都是以现代应用为核心的,通过对服务职能的强化,构建新的现代教育模式。金江军认为:集成化、自由化、体验化是智慧教育的三个基本特征。智慧教育的形成,主要依赖现代的高科技技术,是教育行业的智能机。
有学者在研究智慧教育的技术架构,对于这方面的研究主要是从云计算入手的。学者葛虹,研究了智慧教育云建造的方法,对建造它的技术和策略进行了研究。加强城区之间网络的建设、教育信息的组建等,大力发展和实施云战略,让教育资源能够实现所有人都可以共享。张进宝等学者,通过对信息提取、智能信息处理、智能信息检索、信息推送等这五个方面的关键技术特征。它的服务器是以公共集群为基础的,提供了三个层面的服务,这三个层面包括:Iaas、 Paas、 Saas。这个平台的建设,满足了教育行业对资源开放和资源共享的需求,可以同时在手机、电脑、平板上观看学习。
除了上面提到的这些以外,还有很多学者管住智慧教育的环境建设。对于智慧校园、智慧教室等,都有一些学者在研究。
1.2.2 国外研究状况
在国外,智慧教育最初是在韩国出现的,研究它的学者也都大多来自韩国。在2011年的时候,韩国颁布了一部关于智慧教育的文件,从那时候开始,韩国才开始有学者对其进行研究。
Choi & Lee是韩国研究智慧教育的一个学者,针对韩国的研究计划,做了一个简单的介绍。该计划主要研究的是:智慧教育的环境建设以及内容。除了这些之外,他还考虑到对手机、电脑等这些智能设备的维护问题、无线网络的维护问题以及对教师能力的提升和老师使用新技术能力的提升。Kim等人通过全球教育形势的研究发现,信息技术在教育中的应用已经屡见不鲜,这就催生了一种新兴的教育方式即智慧学习,是以学习和社会化学习为理论基础。An等人着重研究了智慧教育的内容后认为,想要让学习者主动参与到智慧教育中,就必须创造一个新颖的、适宜的学习氛围,提供可以提高学习者兴趣的书籍,方便他们在遇到问题时及时查阅学习材料解决问题。
近年来,众多教育者意识到智慧教育的重要性,在系统研发上也取得不错的进展。Parker &Lima研发了一种可以帮助教育工作者快速生成教学方案的一种智慧平台。Jo Yank &Lim研发了一种独特的智慧教育系统,本着智慧教育的基本宗旨,由家校学习和智慧内容服务两个子系统组成该体系的主要结构。两个子系统相辅相成,其中智慧内容系统用于与所学的学习内容相联系,而家校学习系统则巩固学习内容,达到终身学习的目的。Jeong, Kim& Yoo提出将云技术应用于智慧教育中,可以分享图片、视频等各种教育内容,增强现实场景。在智慧教育快速发展的趋势下,如何评估教师的教学能力也成为许多教育工作者需要研究的课题。
1.3 研究目标
本论文的研究目标是联合国家、省级的核心教育系统,将大连市内各区、县零散的信息资源整合起来,开发设计教育教学管理、个性化学习等应用。面向本市内全体中小学教育工作者、学生,可以灵活使用、可靠高效、共享大量信息的市级智慧教育平台APP。为学生、教师、教师管理人员、资源服务提供可多方面协作的数字化教育环境。目前大数据技术的应用也越来越广泛,将其应用于管理教育平台,提供高速度、高质量的信息化投入,加强智慧教育对市级教育系统的有力支持。
1.4 研究内容
本次研究的主要目的是对市级智慧教育平台总体的功能性和逻辑性架构的分析、完成从信息系统集成、资源交互共享、业务数据存储、终端访问服务、内外网数据交互等领域进行更深层次的探索。主要研究内容(如图1-1)包括:
1、采用面向对象的思想业务流程再造方法研究需求,分析改善需求,从而形成功能性和非功能性需求,服务于基础教育。进一步确定市级智慧教育系统的实质,为平台的建设提供理论依据。
2、研究本市的智慧教育系统的总体设计方法,对其功能性结构设计、逻辑性架构设计、物理拓扑设计进行分析,发现存在或潜在的问题,找出对应的解决方法,实现智慧教育系统的可行性。
3、监控和分析在市级智慧教育系统中的工作流驱动的流动和转向,研究不同系统之间、不同模块之间如何对接,规范接口定义方式。
4、分析测试该平台功能的实际性、性能的稳定性,解决存在的问题,为版本的升级提供可靠的理论依据。
图1-1 研究的主要内容
1.5 论文组织结构
本文文字部分主要有六个章节,每章节阐述思路简述如下:
第一章:绪论,介绍该项目的现行的背景及含义,该项目在全球范围内的现状及分析,论文研讨目标。
第二章:相关技术介绍,
第三章:需求分析,介绍设计该项目要达到的目标及存在的需求,针对该项目的需求进行了详细的数据分析。
第四章:总体设计,介绍大连市智慧教育平台设计原则及方法,主要包括功能结构和逻辑架构设计等。
第五章:详细设计,根据具体的设计模型,详尽的介绍设计的主体思路、数据库、接口等问题。
第六章:系统实施,包括实施该项目的目的及方法,工具及环境,流程,功能及结果,最后进行系统验证。实施准备,详细配置,系统切换,上线支持与运行效果,页面截图。
最后,对本应用做出展望。
第2章 理论基础和相关技术
本章根据研究内容以及研究目标的基础上,对智慧教育领域的基本概念,以及云服务工程技术与SOA设计模式进行了介绍,为市级智慧教育平台的进一步研究提供了理论基础。
2.1 教育领域基本概念
2.1.1 智慧教育
目前智慧教育在国内教育模式中还处于比较先进的水平,她可以把信息技术融入到教育教学、学校管理和科研活动等各个领域,对学校和教育机构的教育教学和人力资源管理等有很大的帮助和引导作用。
开放程度高,资源共享程度高,交流多,协作能力强,是智慧教育的特征。它的信息系统也很先进,在管理教学设备,组织教育资源在这两方面比传统教育的系统更加先进,有效。它还可以调度资源,会随着情景的不同来识别不同的用户信息。对用户的设备,软件所存在的环境,服务所需要的内容,都能够识别出来。同时,智慧教育还有很多功能。能够自动记录用户的特征,然后归纳用户平时都会检索哪些内容,然后在用户检索时会自动给用户一些提示。它是根据人脑的基本方式来模拟构建的生态系统。
教育部认为在教育中,信息化的程度和教育的质量有很大的关系,因此,在对信息化这方面给出了很高的要求。智慧教育是信息化的一个新模式,它和传统的教育模式有着很大的不同,在教育思想这方面也和传统有着很大的区别,教育方式也比较先进。它利用先进的信息化技术,意在提高学生的学习能力而不只是学习知识,也比较注重学生的全面发展,以加强学生的综合素质为宗旨。智慧教育的出现,打击了传统的教育模式。它主要利用现代信息技术,来提高学生的学习能力,和自身素质,是现代教育模式的一个新突破。我国要加大宣传力度,快速发展智慧教育模式,不仅可以提高教学质量,还可以使学生得到全面发展 [18]。
在当前以及未来,智慧教育将会和云计算技术一起发展,二者将融合到一起。 [l9]。云环境可以计算大量的数据,,并且可以储存大量的数据和资源,也可以将资源虚化。智慧教育中融入云计算,功能会更加完善。
2.1.2 云服务
云是一个比较抽象的概念。在互联网上,一些软件硬件,以及各种各样的资源还有设施,组成一个系统,这个系统会隐藏自己的内部情况,比如组织构架,和数据流通等。站在外部的立场上来看,就像云一样,虚无缥缈。云计算的大环境是云环境。它融合了各种计算方式与网络技术。如:分布式计算,效用计算,网络存储计算等计算方式。两者的相结合可以使资源共享的程度达到最高的同时,还可以提供一个合理的付费模式,使用了多少就付多少的费用 [20]。
云服务是按照云计算的相关内容来的。云计算的发布的服务,和使用模式等,云服务都可以借鉴,这样可以使云服务的服务内容更加多样化,服务的内容的弹性能更高。云服务离不开云计算技术,前者产品的应用离不开后者的支持。以服务的形式利用网络公布信息,用户根据需求租用。服务的内容也涉及各行各业,不仅仅是只限于互联网行业,行业还有教育,医疗等行业。
云服务还建立一个虚拟的资源基地,用户可以通过进入云端,来检索自己想要的资源,同时还能够存储数据,计算信息等,不受时间地点的限制。在云服务中,成千上万的用户都可以得到大量的资源,也可以分享自己的资源。对于一些企业和单位来说,可以将公司的系统引入云端,或者租云服务的应用,这样不仅可以永久保存自己企业的各种资源,也可以节省购买服务器的开支,也不需要额外聘请维护系统和保存资源的人员,也可以节省管理费用。
从类型上划分,云服务有四种:公共云、社区云、私有云、以及混合云。公共云,就是公众都可以使用的一种云服务,它主要是有大型的云服务提供架构,能让很多用户可以同时使用的一种云盘。私有云,一般是个人的,如一些单位、企业等机构使用的云盘,除了企业内部员工和领导之外,其他人不可以使用的一种云盘,它主要提供私有资源的共享、企业数据的安全以及对企业服务质量上的服务;社区云,是在一个社区,或者一定的范围内,构建的一种云服务形式,在规定的区域内,对其进行服务,满足社区或者这篇区域的共性需求。混合云,它是由公共云、私有云、和社区云组成的一种形式。它的优点是:可以发挥各种云的优点。使它们互相结合,使信息的传递更加便捷。
将云服务进行分层,可以分为IaaS、PaaS与SaaS这三层,分别是Infrastructure as a S ervice C IaaS,基础设施即服务,Platform as a ServiceCPaaS,平台即服务,与Software as a Service C SaaS,软件即服务。这三层层次逐级上升。其中IaaS提供的是基础设施服务。服务供应商在构建硬件及软件资源池时采用虚拟化技术,并通过不同的租赁方式如用量、时间等为用户提供不同的底层环境服务支持,无论是存储设备、服务器,还是网络、软件都可以。而且IaaS重视用户需求,并作出相应调整。基础设施即服务的一大成功典例就是阿里云。PaaS向用户提供的是软件研发平台,即提供的是平台服务。PaaS对开发与运行环境以及基础业务、监控流程的开放平台进行整合,从而为用户提供定制化程度高、功能齐全的服务中间件,保障多种软件的正常运行,使应用服务发展更迅速。Amazon EC2与Google App Engine就是两种比较出名的平台即服务。软件服务由SaaS提供。处于云环境中,用户只要完成了自主租赁,就不再需要额外购买软件,即能够享受细致的Web功能应用服务。服务供应商还会提供后续的服务,包括升级与维护软件,生活中常用的一种就是电子邮箱。
图2-1 云服务类型及层次
2.1.3 教育云
教育云是云服务在教育事业中延伸的产物,作为一种较为先进的服务模式,能够有效提高教育信息化建设水平,具有突破性与实用性。教育云会把握云时代教育活动中的特点,根据教育信息化的实际需求,对相应的软硬件进行集中组织与架构,使用户可以利用虚拟化资源,享受优越的服务。可配置性是教育云构建的一大特点,可以为师生打造独具特色的在找学习平台,提供大量可以存储、扩展性强的教育资源,包括视频、课件等,从而营造良好的数字化教育氛围。教育单位可以自由使用教育云,既能利用云端托管教育信息系统,也能根据实际需求选择其他服务,以此来协助日常教学管理、改进及科研评估等。使用教育云,可以大幅度降低教育管理及运行维护的成本,更有利于未来发展。
同云服务一样,教育云也能分为三个层次,具体结构如图2-2所示。
首先是EIaaS,即教育云基础设施即服务。EIaaS主要是整合各种教育硬件设备与软件环境资源,构建教育软硬件资源池,确保无论是平台还是软件,都能具备运行、计算、存储的基本环境,得以正常工作。教育信息系统较为完备的教育单位采用这种模式就比较妥当,如高校以及部分教育机构。用户只需将现有教育信息系统转到云基础设施服务器上,就不会再受到运维系统、扩充硬件资源等环节的困扰,享受到优质稳定的云服务。
图2-2 教育云分层结构
接着是EPaaS,教育云基础服务平台即服务。EPaaS支持教育事业中的基础服务中间件,能打造自由开放而又统一的开发公共环境,建立教育应用接入方式的标准,整合开发与部署过程,使教育应用稳定性得到保障,加速软件开发,适用于研发用户或者有教育应用开发需要的教育单位。教育单位或者研发用户独自建立一个平台不仅成本高,而且程序麻烦,但如果采用EPaaS,利用已有的的软件环境与服务接口,就能方便许多,进而推动教育信息化建设。
最后是ESaaS,即教育云应用即服务。ESaaS的建立是以EIaaS与EPaaS为基础的,是多种应用服务如学生空间、在线教学系统的具体体现,使用人群一般为教师与学生。教育云应用即服务,一方面可以给予师生大量丰富的教学资源,加强信息共享,另一方面还能帮助信息化水平较低的教育单位降低研发成本与时间,提供优质服务。
2.2 云服务工程技术
2.2.1 大规模数据处理
云服务的用户群十分庞大,因此对云服务的工程技术提出了极高要求,必须具备强大的处理大规模数据的能力,既要高效地处理多项业务,还要同时统计与分析记录的信息,不断改善服务。
MapReduce将映射( Map)与规约(Reduce )作为中心的编程模型,结合了矢量与函数式两种编程语言的特点,能处理大规模数据。MapReduce在分解任务与汇总结果时,会因情况不同而有所差异,即“分而治之”。它会对需要处理的大规模数据进行分解,再分别映射到多个计算节点同时计算,再规约每个节点的结果,进行汇总,从而完成大规模数据处理。网络上,有人以数图书馆的所有书为例,对MapReduce的一种通俗解释是,每个人分别数不同的书架,这一过程即为“Map”,随着人数的增加,书数起来就越快。当所有人数完之后,在把所有数字加起来,这个过程就是“Reduce”。使用MapReduce的方式,就能使计算集群的并行数据处理能力得到体现,进而减小批量计算、大量信息检索与数据统计等工作难度,优化云服务。
MapReduce主要分为以下几个流程,如图2-3所示。
图2-3 MapReduce工作流程
Map阶段与Reduce阶段是所有MapReduce都有的两个阶段,通常以Map函数与Reduce函数的形式表示这两个阶段。一个完整的MapReduce工作流程,首先会将每一个输入的信息都分解为<key,value>的形式的,再利用map函数完成用户定义的中间数据处理,接着合并所有一样的键,变成<key, list of values>的新形式,随后用reduce函数完成有关值的接收,再进行一次用户自定义处理,输出为一个或者没有<key,value>的形式,最后整合所有输出,即可得到最终结果。
2.2.2 分布式数据存储
以往陈旧的集中式数据存储方式在大数据时代下暴露的缺点越来越多,需要处理的数据量不断增长,集中式数据处理存储方式的压力也随之增加。同时,许多存储系统也面临着存取数据提高慢,数据安全性与系统可靠性扩展难度大的窘境。
这种环境下,分布式数据存储应运而生。这种存储技术可以把集中的数据资源分布到不止一台设备上,通过增加设备数量,缓解每台设备的存储压力,改善数据存取性能,组织与架构稳定高效并且可扩展性强的存储系统,此外,多余的存储空间、容错备份技术等使数据的安全性与系统可靠性有了质的飞跃。
云存储采用分布式数据存储作为技术基础,并将其视为实现手段,借助网络与软件,利用分布式数据存储把海量异构的存储设备整合在一起,并且简化甚至隐藏原有庞杂的存储结构,不仅能满足云时代环境下处理海量数据的存取需求,还能提供透明化资源存储服务。图2-4展示了一个常见的云存储系统分层模型。
图2-4 云存储系统分层模型
云存储系统组织的底层支撑是数据存储层次。数据存储层可以利用高速网络设备,跨越地区的限制,将许多不同区域的设备连接起来,形成一个巨大的存储集群,并且借助虚拟化技术,构造弹性可调整的存储资源池。
数据存储一层是基础管理层的基石,后者也是云存储中重要的组成。基础管理层的主要技术是分布式的储存,基于集群的基础上完成分布式的大规模的系统,可以完成性能优越的数据吞吐工作,另外,还要注意设置全面的权限与安全制度,确保数据储存的高度保密和一致,保证云存储工作的正常运行。
完成了设计和封装的应用接口层建立在基础管理层之上,这一层可以灵活地完成工作的逻辑,完成网络硬盘、视频播放等工作的应用服务接口是以公共的API、网页服务的方式实现的。
用户访问一层是云存储系统结构的最高层,这一层作为云存储应用的一部分有客户端、网页等多种实现形式,是与用户直接接触的一层,使用云存储功能的用户在终端设备上完成正常的登陆以后,就可以使用云存储的功能。
2.2.3 Hadoop
通过Apache基金会研发的分布式系统架构Hadoop,可以为研发人员无遮掩的提供优越的计算和储存功能,其基础架构的两部分重要技术是:一、MapReduce可以完成大量的数据处理工作,二、HDFS可以完成数据储存的分布式工作。
在MapReduce的理论基础上,Hadoop可以完成工作调配、数据分片、总结分析等较难度较高的工作过程[27],研发人员完成map和reduce两种方法的详细步骤的简易便宜,就可以完成大规模的计算应用工作。
Hadoop完成面对大规模数据的分布式的系统是HDFS,即Hadoop Distributed File System,该系统可以完成在低成本的计算机上设置效率高、安全性能高的储存群。Hadoop分布式文件系统的储存机理是把文件分部分的储存到各个设备里,为了使系统的数据存储速率提高,使用的是流式的数据访问方式。而且,该系统拥有内部的故障检查与测试以及数据的恢复功能,都给该系统增加了很高的容错性。
Hadoop中不仅有MapReduce和HDFS,还有其他的一些子项目,例如,面对列的分布式的非关系型的HBase数据库,主要借鉴了由Facebook研发的Google Big Table和Hive Zookeeper,Google Big Table实验数据仓库的功能,Hive Zookeeper可以完成Google Chubby的功能,是一种分布式所设施;Hadoop的大数据分析平台名称为Pig,可以为使用者提供多类型的接口;Hadoop在与过去的关系型的数据库间进行数据流动作为支持的是Sqoop;Hadoop的管理工具是Ambari,它可以快速的对储存群进行监管、布置和管理。上述子项目及其他子项目一起创建了Hadoop生态系统,可以完成云上的大量数据处理工作。
2.2.4 HBase
魔乐社区(Modelers.cn) 是一个中立、公益的人工智能社区,提供人工智能工具、模型、数据的托管、展示与应用协同服务,为人工智能开发及爱好者搭建开放的学习交流平台。社区通过理事会方式运作,由全产业链共同建设、共同运营、共同享有,推动国产AI生态繁荣发展。
更多推荐


所有评论(0)