本文目录导读：
图片来源于网络，如有侵权联系删除
随着大数据时代的到来，Hadoop作为一款分布式存储和计算框架，已经成为处理大规模数据集的利器，本文将详细讲解如何在虚拟机上安装和配置Hadoop环境，让您轻松入门大数据处理。
准备工作
1、硬件环境：
- 2GB及以上内存（推荐4GB）
- 50GB及以上硬盘空间
- 虚拟机软件（如VMware、VirtualBox等）
2、软件环境：
- 操作系统（如CentOS 7、Ubuntu 18.04等）
- JDK 1.8及以上版本
- Hadoop版本（如Hadoop 3.2.1）
安装步骤
1、安装JDK
a. 下载JDK安装包：访问Oracle官网下载JDK安装包，选择与操作系统兼容的版本。
b. 解压安装包：在虚拟机中解压JDK安装包到指定目录，例如/opt/jdk1.8.0_241。
c. 配置环境变量：
- 编辑/etc/profile 文件，添加以下内容：
```
export JAVA_HOME=/opt/jdk1.8.0_241
export PATH=$PATH:$JAVA_HOME/bin
```
- 保存文件并退出。
d. 使环境变量生效：
- 在终端输入source /etc/profile。
2、下载Hadoop安装包
a. 访问Apache Hadoop官网下载Hadoop安装包，选择与操作系统兼容的版本。
b. 解压安装包：在虚拟机中解压Hadoop安装包到指定目录，例如/opt/hadoop-3.2.1。
3、配置Hadoop环境
a. 编辑hadoop-env.sh 文件，配置JDK路径：
```
export JAVA_HOME=/opt/jdk1.8.0_241
```
b. 编辑core-site.xml 文件，配置Hadoop存储路径：
```
<configuration>
<property>
图片来源于网络，如有侵权联系删除
<name>fs.defaultFS</name>
<value>hdfs://localhost:9000</value>
</property>
<property>
<name>hadoop.tmp.dir</name>
<value>/opt/hadoop-3.2.1/tmp</value>
</property>
</configuration>
```
c. 编辑hdfs-site.xml 文件，配置HDFS存储路径：
```
<configuration>
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
<property>
<name>dfs.namenode.name.dir</name>
<value>/opt/hadoop-3.2.1/hdfs/namenode</value>
</property>
<property>
<name>dfs.datanode.data.dir</name>
<value>/opt/hadoop-3.2.1/hdfs/datanode</value>
</property>
</configuration>
```
d. 编辑mapred-site.xml 文件，配置MapReduce运行模式：
```
<configuration>
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
图片来源于网络，如有侵权联系删除
</configuration>
```
e. 编辑yarn-site.xml 文件，配置YARN资源管理器：
```
<configuration>
<property>
<name>yarn.resourcemanager.host</name>
<value>localhost</value>
</property>
</configuration>
```
4、格式化HDFS文件系统
a. 在终端输入以下命令格式化HDFS文件系统：
```
bin/hdfs namenode -format
```
b. 格式化完成后，关闭虚拟机。
5、启动Hadoop服务
a. 启动HDFS服务：
```
bin/start-dfs.sh
```
b. 启动YARN服务：
```
bin/start-yarn.sh
```
6、检查Hadoop服务状态
a. 在浏览器中输入http://localhost:50070 查看HDFS Web界面。
b. 在浏览器中输入http://localhost:8088 查看YARN Web界面。
至此，您已经在虚拟机上成功安装和配置了Hadoop环境，您可以根据自己的需求，编写Hadoop应用程序进行大数据处理，祝您学习愉快！
标签： #虚拟机安装hadoop安装详细步骤
评论列表