安装hadoop伪分布式的步骤，Hadoop伪分布式集群搭建步骤详解

本文目录导读：

1. 环境准备
2. 安装步骤

环境准备

1、服务器：至少一台物理服务器或虚拟机，推荐配置为64位操作系统、4GB内存、100GB硬盘。

2、操作系统：Linux系统，如CentOS 7、Ubuntu等。

图片来源于网络，如有侵权联系删除

3、JDK：Java Development Kit，版本推荐为1.8。

4、Hadoop：版本推荐为Hadoop 3.3.x。

安装步骤

1、安装JDK

（1）下载JDK安装包：从Oracle官网下载适用于Linux系统的JDK安装包。

（2）解压安装包：将下载的JDK安装包解压到指定目录，/usr/local/jdk1.8.0_241。

（3）配置环境变量：编辑~/.bashrc文件，添加以下内容：

export JAVA_HOME=/usr/local/jdk1.8.0_241
export PATH=$PATH:$JAVA_HOME/bin

（4）使环境变量生效：执行source ~/.bashrc命令。

2、安装Hadoop

（1）下载Hadoop安装包：从Apache Hadoop官网下载适用于Linux系统的Hadoop安装包。

图片来源于网络，如有侵权联系删除

（2）解压安装包：将下载的Hadoop安装包解压到指定目录，/usr/local/hadoop-3.3.4。

（3）配置Hadoop环境变量：编辑~/.bashrc文件，添加以下内容：

export HADOOP_HOME=/usr/local/hadoop-3.3.4
export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

（4）使环境变量生效：执行source ~/.bashrc命令。

3、配置Hadoop

（1）配置hadoop-env.sh：编辑$HADOOP_HOME/etc/hadoop/hadoop-env.sh文件，设置JDK路径：

export JAVA_HOME=/usr/local/jdk1.8.0_241

（2）配置core-site.xml：编辑$HADOOP_HOME/etc/hadoop/core-site.xml文件，设置Hadoop运行时的系统参数：

<configuration>
    <property>
        <name>fs.defaultFS</name>
        <value>hdfs://localhost:9000</value>
    </property>
    <property>
        <name>hadoop.tmp.dir</name>
        <value>/usr/local/hadoop-3.3.4/tmp</value>
    </property>
</configuration>

（3）配置hdfs-site.xml：编辑$HADOOP_HOME/etc/hadoop/hdfs-site.xml文件，设置HDFS的存储参数：

<configuration>
    <property>
        <name>dfs.replication</name>
        <value>1</value>
    </property>
    <property>
        <name>dfs.namenode.name.dir</name>
        <value>/usr/local/hadoop-3.3.4/hdfs/namenode</value>
    </property>
    <property>
        <name>dfs.datanode.data.dir</name>
        <value>/usr/local/hadoop-3.3.4/hdfs/datanode</value>
    </property>
</configuration>

（4）配置yarn-site.xml：编辑$HADOOP_HOME/etc/hadoop/yarn-site.xml文件，设置YARN的运行参数：

<configuration>
    <property>
        <name>yarn.resourcemanager.hostname</name>
        <value>localhost</value>
    </property>
    <property>
        <name>yarn.nodemanager.aux-services</name>
        <value>mapreduce_shuffle</value>
    </property>
</configuration>

4、格式化NameNode

图片来源于网络，如有侵权联系删除

在终端执行以下命令，格式化NameNode：

hdfs namenode -format

5、启动Hadoop集群

（1）启动HDFS：执行以下命令启动HDFS：

start-dfs.sh

（2）启动YARN：执行以下命令启动YARN：

start-yarn.sh

6、验证Hadoop集群

在终端执行以下命令，查看Hadoop集群状态：

jps

应看到以下进程：

NameNode
DataNode
SecondaryNameNode
ResourceManager
NodeManager

至此，Hadoop伪分布式集群搭建完成。

标签： #hadoop安装与伪分布式集群搭建答案