虚拟机hadoop安装教程，从零开始，在虚拟机上搭建高效Hadoop集群的详细指南

本文目录导读：

1. 环境准备
2. 虚拟机配置
3. 安装Java环境
4. 安装Hadoop
5. 格式化HDFS
6. 启动Hadoop集群

在当今大数据时代，Hadoop作为一款强大的分布式计算框架，已成为处理海量数据的不二之选，本文将为您详细解析如何在虚拟机上搭建一个Hadoop集群，让您轻松掌握Hadoop集群的安装与配置过程。

环境准备

1、操作系统：推荐使用Linux操作系统，如CentOS 7、Ubuntu等。

2、虚拟机软件：推荐使用VMware Workstation、VirtualBox等。

图片来源于网络，如有侵权联系删除

3、Hadoop版本：本文以Hadoop 3.3.4版本为例。

虚拟机配置

1、创建虚拟机：打开虚拟机软件，创建一个新的虚拟机，选择Linux操作系统，设置CPU、内存、硬盘等资源。

2、安装操作系统：将操作系统安装到虚拟机中，完成系统初始化。

3、配置网络：设置虚拟机网络，推荐使用桥接模式，确保虚拟机与宿主机在同一网络环境下。

安装Java环境

1、下载Java：前往Oracle官网下载Java 8或以上版本的安装包。

2、解压安装包：将下载的Java安装包解压到指定目录，如/opt/java。

3、配置环境变量：编辑/etc/profile文件，添加以下内容：

export JAVA_HOME=/opt/java/jdk1.8.0_292
export PATH=$PATH:$JAVA_HOME/bin

4、使环境变量生效：执行以下命令使环境变量生效：

图片来源于网络，如有侵权联系删除

source /etc/profile

安装Hadoop

1、下载Hadoop：前往Apache Hadoop官网下载Hadoop 3.3.4版本的安装包。

2、解压安装包：将下载的Hadoop安装包解压到指定目录，如/opt/hadoop。

3、配置Hadoop：进入Hadoop安装目录，编辑etc/hadoop/hadoop-env.sh文件，设置Java环境：

export JAVA_HOME=/opt/java/jdk1.8.0_292

4、配置集群参数：编辑etc/hadoop/core-site.xml文件，设置Hadoop的存储路径：

<configuration>
    <property>
        <name>fs.defaultFS</name>
        <value>hdfs://master:8020</value>
    </property>
    <property>
        <name>hadoop.tmp.dir</name>
        <value>/opt/hadoop/data/tmp</value>
    </property>
</configuration>

5、配置HDFS参数：编辑etc/hadoop/hdfs-site.xml文件，设置HDFS的副本因子和存储路径：

<configuration>
    <property>
        <name>dfs.replication</name>
        <value>3</value>
    </property>
    <property>
        <name>dfs.namenode.name.dir</name>
        <value>/opt/hadoop/data/hdfs/namenode</value>
    </property>
    <property>
        <name>dfs.datanode.data.dir</name>
        <value>/opt/hadoop/data/hdfs/datanode</value>
    </property>
</configuration>

6、配置YARN参数：编辑etc/hadoop/yarn-site.xml文件，设置YARN的调度器、资源管理器和存储路径：

<configuration>
    <property>
        <name>yarn.resourcemanager.address</name>
        <value>master:8032</value>
    </property>
    <property>
        <name>yarn.nodemanager.aux-services</name>
        <value>mapreduce_shuffle</value>
    </property>
    <property>
        <name>yarn.nodemanager.resource.memory-mb</name>
        <value>2048</value>
    </property>
    <property>
        <name>yarn.nodemanager.resource.cores</name>
        <value>2</value>
    </property>
    <property>
        <name>yarn.nodemanager.resource.disk.capacity-per-node</name>
        <value>10000</value>
    </property>
</configuration>

格式化HDFS

在master节点上执行以下命令，格式化HDFS：

hdfs namenode -format

启动Hadoop集群

1、启动HDFS：在master节点上执行以下命令启动HDFS：

图片来源于网络，如有侵权联系删除

start-dfs.sh

2、启动YARN：在master节点上执行以下命令启动YARN：

start-yarn.sh

3、访问Hadoop集群：打开浏览器，输入以下地址访问Hadoop集群：

- HDFS Web UI：http://master:50070

- YARN Web UI：http://master:8088

至此，您已在虚拟机上成功搭建了一个Hadoop集群，您可以根据实际需求进行Hadoop集群的扩展、优化和管理，祝您学习愉快！

标签： #虚拟机hadoop集群安装步骤