Hadoop伪分布式环境搭建全攻略，从入门到精通，hadoop伪分布式搭建全过程

本文目录导读：

1. 环境准备
2. Hadoop伪分布式环境搭建步骤

随着大数据时代的到来，Hadoop作为一款开源的分布式计算框架，已经成为处理海量数据的重要工具，而搭建Hadoop伪分布式环境是学习Hadoop的第一步，本文将详细讲解如何搭建Hadoop伪分布式环境，从入门到精通。

图片来源于网络，如有侵权联系删除

环境准备

1、操作系统：推荐使用Linux系统，如CentOS 7、Ubuntu等。

2、Java环境：Hadoop依赖于Java环境，需要安装Java 1.8及以上版本。

3、网络环境：确保网络畅通，主机名解析正确。

4、软件包：下载Hadoop安装包，解压到指定目录。

Hadoop伪分布式环境搭建步骤

1、配置主机名和hosts文件

（1）编辑/etc/hosts文件，添加以下内容：

127、0.0.1 localhost
127、0.0.1 hadoop01

（2）修改主机名：

hostname hadoop01

（3）使主机名永久生效：

echo "export HADOOP_HOME=/usr/local/hadoop" >> /etc/profile
echo "export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin" >> /etc/profile
source /etc/profile

2、配置Hadoop环境变量

图片来源于网络，如有侵权联系删除

（1）编辑/etc/profile文件，添加以下内容：

export HADOOP_HOME=/usr/local/hadoop
export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

（2）使环境变量生效：

source /etc/profile

3、配置Hadoop配置文件

（1）修改/usr/local/hadoop/etc/hadoop/core-site.xml文件：

<configuration>
  <property>
    <name>fs.defaultFS</name>
    <value>hdfs://hadoop01:9000</value>
  </property>
  <property>
    <name>hadoop.tmp.dir</name>
    <value>/usr/local/hadoop/tmp</value>
  </property>
</configuration>

（2）修改/usr/local/hadoop/etc/hadoop/hdfs-site.xml文件：

<configuration>
  <property>
    <name>dfs.replication</name>
    <value>1</value>
  </property>
  <property>
    <name>dfs.namenode.name.dir</name>
    <value>/usr/local/hadoop/hdfs/namenode</value>
  </property>
  <property>
    <name>dfs.datanode.data.dir</name>
    <value>/usr/local/hadoop/hdfs/datanode</value>
  </property>
</configuration>

4、格式化NameNode

hdfs namenode -format

5、启动Hadoop服务

（1）启动HDFS：

start-dfs.sh

（2）启动YARN：

图片来源于网络，如有侵权联系删除

start-yarn.sh

6、验证Hadoop伪分布式环境

（1）查看HDFS状态：

jps

（2）查看YARN状态：

yarn node -list

（3）访问HDFS Web界面：

在浏览器中输入http://hadoop01:50070，查看HDFS状态。

通过以上步骤，我们已经成功搭建了Hadoop伪分布式环境，可以继续学习Hadoop的其他组件，如MapReduce、Hive、HBase等，为大数据处理打下坚实基础，祝您学习愉快！

标签： #hadoop伪分布式的搭建