本文目录导读：
图片来源于网络，如有侵权联系删除
《完全分布式Hadoop集群搭建全解析》
在大数据处理领域，Hadoop是一个广泛应用的开源框架，搭建完全分布式的Hadoop集群能够充分发挥其处理大规模数据的能力，这一过程涉及到多个步骤和细致的配置，本文将详细介绍完全分布式Hadoop集群的搭建过程。
环境准备
（一）硬件要求
1、多台服务器或虚拟机，我们可以使用三台虚拟机来搭建一个简单的完全分布式集群，分别作为主节点（NameNode）和两个从节点（DataNode）。
2、每台机器需要有足够的内存和磁盘空间，对于测试环境，每台机器至少有2GB内存和20GB的磁盘空间。
（二）软件要求
1、操作系统：可以选择Linux系统，如CentOS或Ubuntu，这里以CentOS为例。
2、安装JDK：Hadoop是基于Java开发的，所以需要在每台机器上安装JDK，可以从Oracle官方网站下载适合的JDK版本，然后进行安装和配置环境变量，将JDK解压到/usr/local/java目录下，然后在/etc/profile文件中添加如下环境变量：
```bash
export JAVA_HOME=/usr/local/java
export PATH=$JAVA_HOME/bin:$PATH
export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar
```
执行source /etc/profile使环境变量生效。
Hadoop安装
（一）下载与解压
1、从Hadoop官方网站下载稳定版本的Hadoop，例如hadoop - 3.3.0，将下载的压缩包传输到每台机器上，然后解压到/usr/local/hadoop目录下。
```bash
tar -zxvf hadoop - 3.3.0.tar.gz -C /usr/local/
ln -s /usr/local/hadoop - 3.3.0 /usr/local/hadoop
```
（二）配置文件修改
1、hadoop - env.sh
- 在$HADOOP_HOME/etc/hadoop目录下找到hadoop - env.sh文件，编辑该文件，设置JAVA_HOME变量为前面安装JDK的路径。
```bash
export JAVA_HOME=/usr/local/java
```
2、core - site.xml
- 这个文件主要用于配置Hadoop的核心参数，我们可以设置Hadoop的临时文件目录和文件系统的默认名称。
```xml
<configuration>
<property>
<name>hadoop.tmp.dir</name>
<value>/usr/local/hadoop/tmp</value>
</property>
<property>
<name>fs.defaultFS</name>
<value>hdfs://master:9000</value>
</property>
图片来源于网络，如有侵权联系删除
</configuration>
```
这里的master是主节点的主机名，9000是HDFS的默认端口。
3、hdfs - site.xml
- 用于配置HDFS相关的参数，我们需要设置副本数量、NameNode和DataNode的存储目录等。
```xml
<configuration>
<property>
<name>dfs.replication</name>
<value>2</value>
</property>
<property>
<name>dfs.namenode.name.dir</name>
<value>/usr/local/hadoop/hdfs/name</value>
</property>
<property>
<name>dfs.datanode.data.dir</name>
<value>/usr/local/hadoop/hdfs/data</value>
</property>
</configuration>
```
4、mapred - site.xml
- 主要配置MapReduce相关的参数，我们可以设置MapReduce的运行框架为YARN。
```xml
<configuration>
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
</configuration>
```
5、yarn - site.xml
- 用于配置YARN（Yet Another Resource Negotiator）资源管理器的参数。
```xml
<configuration>
<property>
<name>yarn.resourcemanager.hostname</name>
<value>master</value>
图片来源于网络，如有侵权联系删除
</property>
<property>
<name>yarn.nodemanager.aux - services</name>
<value>mapreduce_shuffle</value>
</property>
</configuration>
```
集群配置
（一）主机名配置
1、在每台机器上修改主机名，可以通过编辑/etc/hostname文件来修改，主节点设置为master，从节点分别设置为slave1和slave2，然后在每台机器的/etc/hosts文件中添加主机名与IP地址的映射关系。
```bash
192.168.1.100 master
192.168.1.101 slave1
192.168.1.102 slave2
```
（二）SSH免密登录配置
1、在主节点上生成SSH密钥对。
```bash
ssh - keygen - t rsa
```
一路回车，默认生成密钥对。
2、将公钥复制到从节点上。
```bash
ssh - copy - id slave1
ssh - copy - id slave2
```
启动集群
（一）格式化NameNode
1、在主节点上执行以下命令格式化NameNode。
```bash
hdfs namenode - format
```
（二）启动集群
1、启动HDFS，在主节点上执行start - dfs.sh命令，这将启动NameNode和DataNode服务。
2、启动YARN，执行start - yarn.sh命令，启动ResourceManager和NodeManager服务。
集群测试
1、可以通过访问Hadoop的Web界面来检查集群是否正常工作，在浏览器中输入http://master:9870（HDFS的Web界面）和http://master:8088（YARN的Web界面）。
2、运行一个简单的MapReduce示例程序，如WordCount示例，来测试集群的计算能力。
搭建完全分布式Hadoop集群需要仔细配置环境、安装软件、修改配置文件以及进行集群相关的配置，通过以上步骤，我们可以成功搭建一个完全分布式的Hadoop集群，为大数据处理提供一个可靠的平台，在实际应用中，还需要根据具体的需求进一步优化集群的性能，如调整资源分配、优化网络等。
评论列表