Hadoop完全分布式集群搭建全攻略，从入门到精通，hadoop分布式集群搭建实验报告

本文目录导读：

1. Hadoop简介
2. Hadoop完全分布式集群搭建步骤

Hadoop简介

Hadoop是一款开源的分布式计算框架，用于处理大规模数据集，它由Java编写，可以运行在商业硬件和开源硬件上，Hadoop的主要特点是高可靠性、高扩展性、高效性、高可用性以及简单性。

Hadoop完全分布式集群搭建步骤

1、环境准备

（1）操作系统：推荐使用CentOS 7.0以上版本。

图片来源于网络，如有侵权联系删除

（2）JDK：推荐使用JDK 1.8版本。

（3）网络：确保所有节点之间可以互相ping通。

2、安装Java

（1）下载JDK：到Oracle官网下载JDK 1.8版本。

（2）解压JDK：将下载的JDK解压到指定目录，例如/usr/local/jdk1.8.0_231。

（3）配置环境变量：编辑/etc/profile文件，添加以下内容：

export JAVA_HOME=/usr/local/jdk1.8.0_231
export PATH=$PATH:$JAVA_HOME/bin

（4）使配置生效：运行source /etc/profile命令。

（5）验证安装：运行java -version命令，查看Java版本。

3、安装Hadoop

（1）下载Hadoop：到Apache Hadoop官网下载Hadoop 3.2.1版本。

图片来源于网络，如有侵权联系删除

（2）解压Hadoop：将下载的Hadoop解压到指定目录，例如/usr/local/hadoop-3.2.1。

（3）配置Hadoop：

a. 编辑/usr/local/hadoop-3.2.1/etc/hadoop/hadoop-env.sh文件，配置JDK路径：

export JAVA_HOME=/usr/local/jdk1.8.0_231

b. 编辑/usr/local/hadoop-3.2.1/etc/hadoop/core-site.xml文件，配置HDFS的存储路径：

<configuration>
    <property>
        <name>fs.defaultFS</name>
        <value>hdfs://localhost:9000</value>
    </property>
</configuration>

c. 编辑/usr/local/hadoop-3.2.1/etc/hadoop/hdfs-site.xml文件，配置HDFS的副本因子：

<configuration>
    <property>
        <name>dfs.replication</name>
        <value>3</value>
    </property>
</configuration>

d. 编辑/usr/local/hadoop-3.2.1/etc/hadoop/yarn-site.xml文件，配置YARN的运行模式：

<configuration>
    <property>
        <name>yarn.resourcemanager.hostname</name>
        <value>master</value>
    </property>
</configuration>

4、格式化HDFS

运行以下命令格式化HDFS：

hdfs namenode -format

5、启动Hadoop集群

（1）启动NameNode：

图片来源于网络，如有侵权联系删除

start-dfs.sh

（2）启动SecondaryNameNode：

start-SecondaryNameNode.sh

（3）启动ResourceManager：

start-yarn.sh

（4）启动NodeManager：

start-dfs.sh

6、验证Hadoop集群

运行以下命令查看Hadoop集群状态：

jps

在master节点上，应看到NameNode、SecondaryNameNode和ResourceManager进程，在slaves节点上，应看到NodeManager进程。

至此，Hadoop完全分布式集群搭建完成。

本文详细介绍了Hadoop完全分布式集群的搭建过程，包括环境准备、安装Java、安装Hadoop、格式化HDFS以及启动Hadoop集群，读者可以根据本文提供的步骤，成功搭建自己的Hadoop完全分布式集群。

标签： #hadoop完全分布式集群搭建