hadoop集群伪分布式搭建实验报告，配置开发环境 - hadoop安装与伪分布式集群搭建情况

标题：Hadoop 集群伪分布式搭建实验报告

一、实验目的

本实验旨在搭建一个 Hadoop 伪分布式集群，了解 Hadoop 生态系统的基本组成部分和工作原理，掌握 Hadoop 的安装和配置过程，为后续学习和使用 Hadoop 进行大数据处理打下基础。

二、实验环境

1、操作系统：CentOS 7.6

2、JDK 版本：1.8.0_201

3、Hadoop 版本：3.2.1

三、实验步骤

1、安装 JDK

- 下载 JDK 安装包，并将其解压到指定目录。

- 配置环境变量，将 JDK 的安装路径添加到系统环境变量中。

- 验证 JDK 是否安装成功，在命令行中输入java -version 命令，查看 JDK 版本信息。

2、下载 Hadoop 安装包

- 访问 Hadoop 官方网站，下载适合 CentOS 7.6 系统的 Hadoop 安装包。

- 将 Hadoop 安装包解压到指定目录。

3、配置 Hadoop 环境变量

- 打开/etc/profile 文件，在文件末尾添加以下内容：

export HADOOP_HOME=/usr/local/hadoop-3.2.1
export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

- 保存并退出文件，使环境变量生效。

4、格式化 Hadoop 分布式文件系统

- 在命令行中输入以下命令，格式化 Hadoop 分布式文件系统：

hdfs namenode -format

- 等待格式化完成后，查看 Hadoop 日志文件，确认格式化是否成功。

5、启动 Hadoop 伪分布式集群

- 在命令行中输入以下命令，启动 Hadoop 伪分布式集群：

start-dfs.sh
start-yarn.sh

- 等待集群启动完成后，查看 Hadoop 日志文件，确认集群是否启动成功。

6、验证 Hadoop 伪分布式集群

- 在浏览器中输入http://localhost:50070 地址，查看 Hadoop 分布式文件系统的 Web 界面，确认集群是否正常运行。

- 在浏览器中输入http://localhost:8088 地址，查看 Hadoop YARN 的 Web 界面，确认集群是否正常运行。

四、实验结果

通过以上实验步骤，成功搭建了一个 Hadoop 伪分布式集群，并且集群能够正常运行，在 Hadoop 分布式文件系统的 Web 界面中，可以看到 HDFS 集群的名称、状态、块信息等信息，在 Hadoop YARN 的 Web 界面中，可以看到 YARN 集群的资源管理器、节点管理器、应用管理器等信息。

五、实验总结

通过本次实验，我对 Hadoop 生态系统的基本组成部分和工作原理有了更深入的了解，掌握了 Hadoop 的安装和配置过程，并且成功搭建了一个 Hadoop 伪分布式集群，在实验过程中，我遇到了一些问题，例如环境变量配置错误、JDK 版本不兼容等问题，通过查阅相关资料和不断尝试，我最终解决了这些问题，并且顺利完成了实验。

在今后的学习和工作中，我将继续深入学习 Hadoop 技术，掌握更多的大数据处理技能，为今后的发展打下坚实的基础。

标签： #Hadoop #集群 #伪分布式 #实验报告