hadoop完全分布式部署，hadoop完全分布式集群搭建全过程，Hadoop完全分布式集群搭建指南，从环境准备到集群配置全解析

本文全面解析Hadoop完全分布式集群搭建全过程，涵盖环境准备、集群配置等关键步骤，为您提供从零到一的Hadoop完全分布式部署指南。

本文目录导读：

1. 环境准备
2. 集群节点规划
3. 集群配置
4. 集群验证

环境准备

1、操作系统：推荐使用CentOS 7或Ubuntu 18.04。

2、Java环境：Hadoop需要Java环境，推荐使用Java 8。

3、网络环境：集群内所有节点之间能够相互通信。

图片来源于网络，如有侵权联系删除

4、软件版本：Hadoop 3.3.1。

集群节点规划

1、NameNode：集群中负责存储元数据的节点。

2、DataNode：集群中负责存储数据的节点。

3、Secondary NameNode：负责定期备份NameNode的元数据。

集群配置

1、创建集群环境

（1）登录集群中的任意一台节点，执行以下命令创建集群环境：

mkdir -p /opt/hadoop

（2）将Hadoop安装包上传到集群中的任意一台节点，解压安装包：

tar -zxvf hadoop-3.3.1.tar.gz -C /opt/hadoop

2、配置集群

（1）配置Hadoop环境变量

编辑/etc/profile 文件，添加以下内容：

export HADOOP_HOME=/opt/hadoop/hadoop-3.3.1
export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

执行source /etc/profile 使配置生效。

图片来源于网络，如有侵权联系删除

（2）配置集群文件

编辑etc/hadoop/core-site.xml 文件：

<configuration>
  <property>
    <name>fs.defaultFS</name>
    <value>hdfs://master:8020</value>
  </property>
  <property>
    <name>hadoop.tmp.dir</name>
    <value>/opt/hadoop/hadoop-3.3.1/tmp</value>
  </property>
</configuration>

编辑etc/hadoop/hdfs-site.xml 文件：

<configuration>
  <property>
    <name>dfs.replication</name>
    <value>3</value>
  </property>
  <property>
    <name>dfs.namenode.name.dir</name>
    <value>/opt/hadoop/hadoop-3.3.1/hdfs/namenode</value>
  </property>
  <property>
    <name>dfs.datanode.data.dir</name>
    <value>/opt/hadoop/hadoop-3.3.1/hdfs/datanode</value>
  </property>
</configuration>

编辑etc/hadoop/yarn-site.xml 文件：

<configuration>
  <property>
    <name>yarn.resourcemanager.hostname</name>
    <value>master</value>
  </property>
  <property>
    <name>yarn.nodemanager.aux-services</name>
    <value>mapreduce_shuffle</value>
  </property>
</configuration>

（3）配置集群节点

在集群中的所有节点上，执行以下命令创建hadoop用户：

groupadd hadoop
useradd -g hadoop hadoop

将Hadoop安装目录的权限赋予hadoop用户：

chown -R hadoop:hadoop /opt/hadoop

将集群文件分发到所有节点：

scp /opt/hadoop/hadoop-3.3.1/etc/hadoop/* slave1:/opt/hadoop/hadoop-3.3.1/etc/hadoop/
scp /opt/hadoop/hadoop-3.3.1/etc/hadoop/* slave2:/opt/hadoop/hadoop-3.3.1/etc/hadoop/

（4）格式化NameNode

在NameNode节点上执行以下命令格式化NameNode：

hdfs namenode -format

3、启动集群

图片来源于网络，如有侵权联系删除

（1）在NameNode节点上启动HDFS：

start-dfs.sh

（2）在Resource Manager节点上启动YARN：

start-yarn.sh

（3）在NodeManager节点上启动NodeManager：

start-dfs.sh

集群验证

1、查看HDFS状态：

jps

2、查看YARN状态：

yarn node -list

3、测试HDFS读写：

（1）在NameNode节点上创建一个测试文件：

hdfs dfs -put /opt/hadoop/hadoop-3.3.1/LICENSE LICENSE.txt

（2）在HDFS中查看文件：

hdfs dfs -ls /

（3）在HDFS中读取文件：

hdfs dfs -cat LICENSE.txt

至此，Hadoop完全分布式集群搭建完成。

标签： #Hadoop集群搭建