1.配置workers文件

进入hadoop所在的文件夹
cd etc/hadoop
vim workers
node1
node2
node3

2.配置hadoop-env.sh文件

我的jdk,hadoop都在/export/server/目录下


export JAVA_HOME=/export/server/jdk
export HADOOP_HOME=/export/server/hadoop
export HADOOP_CONF_DIR=$HADOOP_HOME/etc/hadoop
export HADOOP_LOG_DIR=$HADOOP_HOME/logs

3.配置core-site.xml文件

<configuration>
       <!--指定namenode的地址-->
   <property>
               <name>fs.defaultFS</name>
               <value>hdfs://node1:8020</value>
   </property>
   <!--io文件缓冲区大小-->
   <property>
            <name>io.file.buffer.size</name>
            <value>131072</value> 
   </property>
</configuration>

4.配置hdfs-site.xml文件

<configuration>
    <!--默认文件权限设置-->
    <property>
            <name>dfs.datanode.data.dir.perm</name>
            <value>700</value>
    </property>
    <!--Namenode元数据的存储位置-->
    <property>
             <name>dfs.namenode.name.dir</name> 
             <value>/data/nn</value>
    </property>
    <!--Namenode允许哪几个节点的Datanode连接-->
    <property>
             <name>dfs.namenode.hosts</name> 
             <value>node1,node2,node3</value>
    </property>
    <!--hdfs默认块大小-->
    <property>
             <name>dfs.blocksize</name> 
             <value>268435456</value>
    </property>
  <!--Namenode处理的并发程序-->
    <property>
             <name>dfs.namenode.handler.count</name> 
             <value>100</value>
    </property>
    <!--指定hdfs中datanode的存储位置-->
    <property>
             <name>dfs.datanode.data.dir</name>
             <value>/data/dn</value>
    </property>
</configuration>

Logo

魔乐社区(Modelers.cn) 是一个中立、公益的人工智能社区,提供人工智能工具、模型、数据的托管、展示与应用协同服务,为人工智能开发及爱好者搭建开放的学习交流平台。社区通过理事会方式运作,由全产业链共同建设、共同运营、共同享有,推动国产AI生态繁荣发展。

更多推荐