本文目录导读：
《Hadoop分布式集群搭建教程：从入门到实战》
随着大数据时代的到来，Hadoop作为一个开源的分布式计算框架，在处理海量数据方面发挥着至关重要的作用，搭建Hadoop分布式集群是深入学习和应用Hadoop的基础，本教程将详细介绍如何搭建Hadoop分布式集群。
图片来源于网络，如有侵权联系删除
准备工作
（一）硬件要求
至少需要三台服务器或者虚拟机，配置不需要特别高，但建议每台机器具有足够的内存（如2GB以上）、磁盘空间（如20GB以上）和合理的CPU性能。
（二）软件要求
1、操作系统：本教程以CentOS 7为例，确保每台机器都安装了CentOS 7操作系统，并且网络连接正常。
2、Java环境：Hadoop是基于Java开发的，需要在每台机器上安装JDK，可以从Oracle官方网站下载合适版本的JDK，例如JDK 8，安装完成后，设置好JAVA_HOME环境变量。
3、SSH无密码登录
- 在每台机器上安装openssh - server：
- 使用命令yum install - y openssh - server进行安装。
- 配置SSH无密码登录：
- 在主节点（例如我们将第一台机器设为主节点）上生成SSH密钥对，使用命令ssh - keygen - t rsa，一路回车，默认生成密钥对在~/.ssh目录下。
- 将公钥id_rsa.pub内容追加到每台机器（包括主节点自身）的authorized_keys文件中，可以使用命令ssh - copy - id root@<机器IP>将公钥复制到其他机器。
Hadoop安装
（一）下载Hadoop
从Hadoop官方网站（https://hadoop.apache.org/releases.html）下载合适版本的Hadoop，例如Hadoop 3.x版本，将下载的压缩包解压到指定目录，如/usr/local/hadoop。
（二）配置Hadoop环境变量
在每台机器的/etc/profile文件中添加以下内容：
export HADOOP_HOME=/usr/local/hadoop export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin
然后使用命令source /etc/profile使环境变量生效。
（三）Hadoop核心配置文件
1、hadoop - env.sh
- 编辑$HADOOP_HOME/etc/hadoop/hadoop - env.sh文件，找到JAVA_HOME设置项，将其设置为实际的JDK安装路径，export JAVA_HOME=/usr/java/jdk1.8.0_271 - amd64。
2、core - site.xml
- 在$HADOOP_HOME/etc/hadoop/core - site.xml文件中添加以下配置：
```xml
<configuration>
<property>
<name>fs.defaultFS</name>
<value>hdfs://<主节点IP>:9000</value>
</property>
<property>
<name>hadoop.tmp.dir</name>
<value>/usr/local/hadoop/tmp</value>
</property>
</configuration>
图片来源于网络，如有侵权联系删除
```
- 这里fs.defaultFS指定了HDFS的默认文件系统的地址，hadoop.tmp.dir指定了Hadoop临时文件的存储目录。
3、hdfs - site.xml
- 编辑$HADOOP_HOME/etc/hadoop/hdfs - site.xml文件，添加以下配置：
```xml
<configuration>
<property>
<name>dfs.replication</name>
<value>3</value>
</property>
<property>
<name>dfs.namenode.name.dir</name>
<value>/usr/local/hadoop/dfs/name</value>
</property>
<property>
<name>dfs.datanode.data.dir</name>
<value>/usr/local/hadoop/dfs/data</value>
</property>
</configuration>
```
dfs.replication表示数据块的副本数，这里设置为3，意味着每个数据块将在集群中的三个不同节点上保存副本。dfs.namenode.name.dir和dfs.datanode.data.dir分别指定了NameNode和DataNode存储数据的目录。
4、mapred - site.xml
- 从mapred - site.xml.template复制得到mapred - site.xml，然后编辑该文件，添加以下配置：
```xml
<configuration>
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
</configuration>
```
- 这将指定MapReduce使用YARN作为其执行框架。
图片来源于网络，如有侵权联系删除
5、yarn - site.xml
- 编辑$HADOOP_HOME/etc/hadoop/yarn - site.xml文件，添加以下配置：
```xml
<configuration>
<property>
<name>yarn.resourcemanager.hostname</name>
<value><主节点IP></value>
</property>
<property>
<name>yarn.nodemanager.aux - services</name>
<value>mapreduce_shuffle</value>
</property>
</configuration>
```
yarn.resourcemanager.hostname指定了YARN资源管理器所在的主机名或IP地址，yarn.nodemanager.aux - services设置了NodeManager的辅助服务。
集群启动与测试
（一）格式化NameNode
在主节点上，执行命令hdfs namenode - format，这一步操作只会在首次搭建集群时执行，之后再次格式化可能会导致数据丢失。
（二）启动集群
1、启动HDFS：在主节点上执行命令start - dfs.sh，这将启动NameNode和DataNode进程，可以通过访问http://<主节点IP>:50070来查看HDFS的管理界面。
2、启动YARN：执行命令start - yarn.sh，然后可以通过访问http://<主节点IP>:8088查看YARN的资源管理界面。
（三）测试集群
1、创建一个测试文件，例如test.txt可以为简单的文本。
2、将测试文件上传到HDFS：使用命令hdfs dfs - put test.txt /。
3、运行一个MapReduce示例程序，如计算圆周率的示例：hadoop jar $HADOOP_HOME/share/hadoop/mapreduce/hadoop - mapreduce - examples - 3.x.x.jar pi 10 100。
集群维护与常见问题解决
（一）集群维护
1、定期检查集群节点的健康状态，可以通过HDFS和YARN的管理界面查看节点的运行状态、资源使用情况等。
2、备份重要数据，特别是NameNode的元数据，可以定期将dfs.namenode.name.dir目录下的数据备份到其他存储介质。
（二）常见问题解决
1、SSH无密码登录失败：检查authorized_keys文件的权限是否为600，如果权限不正确，可能会导致SSH无密码登录失败。
2、集群启动失败：查看日志文件，Hadoop的日志文件位于$HADOOP_HOME/logs目录下，根据日志中的错误信息排查问题，可能是配置文件错误、端口被占用或者资源不足等原因。
通过以上步骤，我们就成功搭建了一个Hadoop分布式集群，并进行了简单的测试，在实际应用中，可以根据具体的需求进一步优化集群配置和开发基于Hadoop的大数据应用。
评论列表