Hadoop集群三台虚拟机搭建实战教程，从零开始构建高效大数据平台，虚拟机搭建hadoop集群的步骤

本文目录导读：

1. 环境准备
2. 搭建Hadoop集群
3. 测试Hadoop集群

随着大数据时代的到来，Hadoop作为一款开源的大数据处理框架，已经在业界得到了广泛应用，本文将为您详细讲解如何使用三台虚拟机搭建一个完整的Hadoop集群，让您轻松入门大数据领域。

环境准备

1、操作系统：本文以CentOS 7.6为例，确保所有虚拟机操作系统一致。

2、虚拟机软件：推荐使用VMware Workstation、VirtualBox等虚拟机软件。

3、Hadoop版本：本文以Hadoop 3.3.1为例，确保所有虚拟机Hadoop版本一致。

图片来源于网络，如有侵权联系删除

4、虚拟机配置：根据实际情况调整虚拟机配置，以下为推荐配置：

- CPU：2核

- 内存：4GB

- 硬盘：40GB

- 网卡：桥接模式

搭建Hadoop集群

1、创建虚拟机

（1）打开虚拟机软件，新建虚拟机。

（2）选择“自定义（高级）”，点击“下一步”。

（3）在“安装类型”中选择“自定义（高级）”，点击“下一步”。

（4）按照实际情况分配虚拟机资源，点击“下一步”。

（5）设置虚拟机名称、存储位置等信息，点击“下一步”。

（6）选择操作系统类型和版本，点击“下一步”。

（7）选择“典型”安装方式，点击“下一步”。

图片来源于网络，如有侵权联系删除

（8）完成虚拟机创建。

2、配置虚拟机网络

（1）打开虚拟机设置，选择“网络适配器”。

（2）将所有虚拟机设置为“桥接模式”，确保虚拟机之间可以互相通信。

3、安装Hadoop

（1）在所有虚拟机上创建Hadoop安装目录，如：/opt/hadoop。

（2）在所有虚拟机上下载Hadoop 3.3.1安装包，并解压到Hadoop安装目录。

（3）修改Hadoop配置文件：

- 修改hadoop-env.sh，设置Java环境变量：

        export JAVA_HOME=/usr/lib/jvm/java-1.8.0-openjdk-1.8.0.242.x86_64
        export PATH=$PATH:$JAVA_HOME/bin

- 修改core-site.xml，设置Hadoop临时文件存储目录：

        <property>
          <name>fs.defaultFS</name>
          <value>hdfs://master:9000</value>
        </property>
        <property>
          <name>hadoop.tmp.dir</name>
          <value>/opt/hadoop/data/tmp</value>
        </property>

- 修改hdfs-site.xml，设置HDFS存储目录：

        <property>
          <name>dfs.replication</name>
          <value>2</value>
        </property>
        <property>
          <name>dfs.namenode.name.dir</name>
          <value>/opt/hadoop/data/hdfs/namenode</value>
        </property>
        <property>
          <name>dfs.datanode.data.dir</name>
          <value>/opt/hadoop/data/hdfs/datanode</value>
        </property>

- 修改yarn-site.xml，设置YARN资源管理器地址：

        <property>
          <name>yarn.resourcemanager.hostname</name>
          <value>master</value>
        </property>

- 修改mapred-site.xml，设置MapReduce运行模式：

图片来源于网络，如有侵权联系删除

        <property>
          <name>mapreduce.framework.name</name>
          <value>yarn</value>
        </property>

4、格式化HDFS

在master节点上执行以下命令，格式化HDFS：

   hdfs namenode -format

5、启动Hadoop服务

（1）在所有虚拟机上启动HDFS服务：

   start-dfs.sh

（2）在master节点上启动YARN服务：

   start-yarn.sh

（3）在master节点上启动HistoryServer服务：

   mr-jobhistory-daemon.sh start historyserver

测试Hadoop集群

1、在master节点上执行以下命令，查看HDFS是否正常工作：

   hdfs dfs -ls /

2、在master节点上执行以下命令，查看YARN资源管理器是否正常工作：

   yarn node -list

3、在master节点上执行以下命令，查看HistoryServer是否正常工作：

   jps

通过以上步骤，您已经成功搭建了一个基于三台虚拟机的Hadoop集群，您可以尝试运行一些Hadoop程序，深入探索大数据领域，祝您学习愉快！

标签： #hadoop集群3台虚拟机搭建完整教程