• 完全分布式集群搭建
• ZooKeeper集群搭建
• 高可用相关节点配置

• NameNode配置两个，节点在node00和node01上配置
• ZKFC监控NameNode，一个NameNode对应一个ZKFC，配置在相同机器上
• 共享存储三台机器都要配置
• ZK和DN仍然配置在三台机器上

3 高可用配置工作

3.1 准备工作

3.1.1 环境准备工作

• 三台虚拟机
• HDFS完全分布式搭建
• ZK集群搭建

3.1.2 停止Hadoop集群

停掉Hadoop集群,在node01上执行stop-dfs命令把hadoop集群停止

• stop-yarn.sh
• stop-dfs.sh

3.1.3 停止ZK集群

cd /opt/apache-zookeeper-3.6.2-bin/bin/

./zkServer.sh stop

3.14 创建目录

• cd/opt/software/hadoop/hdfs/
• mkdir journalnode
• cd journalnode/
• mkdir data

 3.1.5 删除之前系统产生的数据文件

• 删除/opt/software/hadoop/hdfs/name目录下的数据

• cd /opt/software/hadoop/hdfs/name/
• rm -rf *
• 注意：rm -rf 在工作的时候别用别用别用

•  删除/opt/software/hadoop/hdfs/tmp目录下的数据

• 删除/opt/software/hadoop/hdfs/data目录下的数据

3.1.6 安装psmisc 

• 三台机器安装psmisc，程序切换需用到shell命令。

yum install psmisc

psmisc是一个Linux系统工具包，包含了一些管理进程的命令，比如killall、fuser和pstree等。

其中，killall命令可以通过进程名杀死所有同名进程；fuser命令可以查找使用指定文件的进程；pstree命令可以以树状图的形式展示进程之间的关系。

除此之外，psmisc还提供了其他一些有用的命令，比如killall5、fusermount和peekfd等，可以帮助用户更方便地管理和调试进程。

3.2 整体配置工作

• core-site.xml 实现一些与 Hadoop 相关的核心配置
• hdfs-site.xml HDFS 相关的配置

3.3 core-site.xml

• fs.defaultFS配置需要修改为集群标识mycluster，集群标识在hdfs-site.xml内定义
• hadoop.tmp.dir配置不变化
• hadoop.http.staticuser.user配置新增
• ha.zookeeper.quorum配置新增，指向ZK集群地址

<!-- 默认的文件系统HDFS,NameNode主机通讯地址，配置集群标识定义在hdfs-site.xml里面 -->
<property>
<name>fs.defaultFS</name>
<value>hdfs://mycluster</value>
</property>
<!-- hadoop临时文件存放路径 -->
<property>
<name>hadoop.tmp.dir</name>
<value>/usr/local/hadoop/hadoop-2.9.2/tmp</value>
</property>
<!-- 网页方式进入管理页面，页面显示此用户相关数据 -->
<property>
<name>hadoop.http.staticuser.user</name>
<value>root</value>
</property>
<!-- 高可用集群指定的zk服务器信息 -->
<property>
<name>ha.zookeeper.quorum</name>
<value>node00:2181,node01:2181,node02:2181</value>
</property>

• fs.defaultFS原本是指向node00，高可用架构里面NameNode会发生变化，所以此配置需修改成一 个标识

<!-- 高可用架构下集群使用NameNode，配置集群标识， mycluster -->
<property>
<name>dfs.nameservices</name>
<value>mycluster</value>
</property>
<!-- NameNode节点标识 -->
<property>
<name>dfs.ha.namenodes.mycluster</name>
<value>nn1,nn2</value>
</property>
<!-- NameNode1的rpc通讯端口号 -->
<property>
<name>dfs.namenode.rpc-address.mycluster.nn1</name>
<value>node00:8020</value>
</property>
<!-- NameNode2的rpc通讯端口号 -->
<property>
<name>dfs.namenode.rpc-address.mycluster.nn2</name>
<value>node01:8020</value>
</property>
<!-- NameNode1的http通讯端口号 -->
<property>
<name>dfs.namenode.http-address.mycluster.nn1</name>
<value>node00:50070</value>
</property>
<!-- NameNode2的http通讯端口号 -->
<property>
<name>dfs.namenode.http-address.mycluster.nn2</name>
<value>node01:50070</value>
</property>
<!-- 配置共享存储 JN -->
<property>
<name>dfs.namenode.shared.edits.dir</name>
<value>qjournal://node00:8485;node01:8485;node02:8485/mycluster</value>
</property>
<!-- 配置失败转移执行类 -->
<property>
<name>dfs.client.failover.proxy.provider.mycluster</name>
<value>org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider
</value>
</property>
<!-- 当进行切换时，通过何种机制杀死原先 active 的 namenode -->
<property>
<name>dfs.ha.fencing.methods</name>
<value>sshfence</value>
</property>
<!-- SSH 私钥,上面杀掉原先进程使用sshfence方式需使用私钥 -->
<property>
<name>dfs.ha.fencing.ssh.private-key-files</name>
<value>/root/.ssh/id_rsa</value>
</property>
<!-- JN 存放元数据的目录 -->
<property>
<name>dfs.journalnode.edits.dir</name>
<value>/opt/software/hadoop/hdfs/journalnode/data</value>
</property>
<!-- 当NameNode宕机，切换方式设置为自动 -->
<property>
<name>dfs.ha.automatic-failover.enabled</name>
<value>true</value>
</property>

如果上面的步骤你只是在一台虚拟机上配置，可以看下面的第四章同步到node01,node02

4 同步配置

4.1 删除node01、node02的配置

• 在node01和node02上分别执行删除hadoop目录操作 
• cd /opt/software/
• rm -rf hadoop

4.2 同步配置

5 高可用集群启动

5.1 启动ZK集群

• 三台机器执行以下命令启动ZK集群
• 三台机器分别启动完成后再确认三台机器ZK集群的启动情况。zkServer.sh status 和jps

zKserver.sh start

hadoop-daemon.sh start journalnode

hdfs namenode -format

cd /opt/software/hadoop/hdfs/name/

scp -r current/ root@node02:$PWD

hdfs zkfc -formatZK 

start-dfs.sh

node00和node01上进程都是5个。没有SNN，多了JournalNode、

DFSZKFailoverController、QuorumPeerMain。

node02上比原来多了JournalNode、QuorumPeerMain

6.2 管理台查看

打开 Web 管理页面，可查看两个 NameNode 节点和 3 个 datanode 节点的状态，看看它们是否

可以正常工作。其中有一个节点是active状态，一个节点是standby状态。

6.3 杀掉active节点

当前我的node00上的NameNode节点是active状态，使用kill命令将其进行杀死，测试集群是否可

用

 jps #查看namenode进程的pid,假设为xxxx

kill -9 xxxx #杀掉namenode进程

 

http://node00:50070/地址已经不能访问

此时http://node02:50070/上namenode由原本的standby状态变为active状态