本文详细介绍了Hadoop伪分布式搭建的步骤，包括搭建过程和深入解析。旨在为读者提供一份全面的Hadoop伪分布式集群搭建全攻略，帮助快速掌握Hadoop伪分布式搭建技巧。
本文目录导读：
环境准备
在搭建伪分布式Hadoop集群之前，我们需要准备好以下环境：
图片来源于网络，如有侵权联系删除
1、操作系统：推荐使用Linux操作系统，如CentOS、Ubuntu等。
2、JDK：推荐使用Java 1.8或更高版本。
3、Hadoop版本：根据个人需求选择合适的版本，本文以Hadoop 3.3.1为例。
安装JDK
1、下载JDK安装包：前往Oracle官网下载JDK安装包，选择与操作系统匹配的版本。
2、解压安装包：将下载的JDK安装包解压到指定目录，例如/usr/local/。
3、设置环境变量：编辑/etc/profile文件，添加以下内容：
export JAVA_HOME=/usr/local/jdk1.8.0_291 export PATH=$PATH:$JAVA_HOME/bin
4、使环境变量生效：运行以下命令使环境变量生效：
source /etc/profile
5、验证JDK安装：在终端运行java -version命令，查看JDK版本信息。
图片来源于网络，如有侵权联系删除
安装Hadoop
1、下载Hadoop安装包：前往Apache Hadoop官网下载Hadoop安装包，选择与操作系统匹配的版本。
2、解压安装包：将下载的Hadoop安装包解压到指定目录，例如/usr/local/。
3、配置Hadoop环境变量：编辑/etc/profile文件，添加以下内容：
export HADOOP_HOME=/usr/local/hadoop-3.3.1 export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin
4、使环境变量生效：运行以下命令使环境变量生效：
source /etc/profile
5、配置Hadoop配置文件：进入Hadoop配置目录/usr/local/hadoop-3.3.1/etc/hadoop/，编辑以下文件：
hadoop-env.sh：设置JDK路径，
export JAVA_HOME=/usr/local/jdk1.8.0_291
core-site.xml：配置Hadoop运行环境，
<configuration>
<property>
<name>fs.defaultFS</name>
<value>hdfs://localhost:9000</value>
</property>
<property>
<name>hadoop.tmp.dir</name>
<value>/usr/local/hadoop-3.3.1/tmp</value>
</property>
</configuration>hdfs-site.xml：配置HDFS存储环境，
图片来源于网络，如有侵权联系删除
<configuration>
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
</configuration>yarn-site.xml：配置YARN资源调度器，
<configuration>
<property>
<name>yarn.resourcemanager.hostname</name>
<value>localhost</value>
</property>
</configuration>格式化HDFS
在终端运行以下命令格式化HDFS：
hdfs namenode -format
启动Hadoop集群
1、启动HDFS：在终端运行以下命令启动HDFS：
start-dfs.sh
2、启动YARN：在终端运行以下命令启动YARN：
start-yarn.sh
3、验证Hadoop集群：在浏览器中访问http://localhost:50070/和http://localhost:8088/，分别查看HDFS和YARN的Web界面。
至此，伪分布式Hadoop集群搭建完成，您可以在Hadoop集群上运行MapReduce程序、Hive查询等操作，进行大数据处理和分析。
评论列表