HADOOP之配置HDFS集群,修改四个文件workers,hadoop-env.sh,core-site.xml,hdfs-site.xml
我的jdk,hadoop都在/export/server/目录下。2.配置hadoop-env.sh文件。3.配置core-site.xml文件。4.配置hdfs-site.xml文件。1.配置workers文件。
·
1.配置workers文件
进入hadoop所在的文件夹
cd etc/hadoop
vim workers
node1
node2
node3
2.配置hadoop-env.sh文件
我的jdk,hadoop都在/export/server/目录下
export JAVA_HOME=/export/server/jdk
export HADOOP_HOME=/export/server/hadoop
export HADOOP_CONF_DIR=$HADOOP_HOME/etc/hadoop
export HADOOP_LOG_DIR=$HADOOP_HOME/logs
3.配置core-site.xml文件
<configuration>
<!--指定namenode的地址-->
<property>
<name>fs.defaultFS</name>
<value>hdfs://node1:8020</value>
</property>
<!--io文件缓冲区大小-->
<property>
<name>io.file.buffer.size</name>
<value>131072</value>
</property>
</configuration>
4.配置hdfs-site.xml文件
<configuration>
<!--默认文件权限设置-->
<property>
<name>dfs.datanode.data.dir.perm</name>
<value>700</value>
</property>
<!--Namenode元数据的存储位置-->
<property>
<name>dfs.namenode.name.dir</name>
<value>/data/nn</value>
</property>
<!--Namenode允许哪几个节点的Datanode连接-->
<property>
<name>dfs.namenode.hosts</name>
<value>node1,node2,node3</value>
</property>
<!--hdfs默认块大小-->
<property>
<name>dfs.blocksize</name>
<value>268435456</value>
</property>
<!--Namenode处理的并发程序-->
<property>
<name>dfs.namenode.handler.count</name>
<value>100</value>
</property>
<!--指定hdfs中datanode的存储位置-->
<property>
<name>dfs.datanode.data.dir</name>
<value>/data/dn</value>
</property>
</configuration>

魔乐社区(Modelers.cn) 是一个中立、公益的人工智能社区,提供人工智能工具、模型、数据的托管、展示与应用协同服务,为人工智能开发及爱好者搭建开放的学习交流平台。社区通过理事会方式运作,由全产业链共同建设、共同运营、共同享有,推动国产AI生态繁荣发展。
更多推荐
所有评论(0)