Ubuntu上搭建Hadoop环境（单机模式+伪分布模式）

在Ubuntu上搭建Hadoop环境主要包括三个模式：单机模式、伪分布模式和全分布模式。其中，单机模式主要用于开发调试MapReduce程序的应用逻辑，而伪分布模式则是在单机模式的基础上增加了代码调试功能，可以检查内存使用情况、HDFS输入输出以及其他的守护进程交互。下面将详细介绍如何在Ubuntu上搭建Hadoop环境的单机模式和伪分布模式。
一、环境准备
在开始搭建Hadoop环境之前，需要确保你的Ubuntu系统已经更新到最新版本，并且安装了JDK（Java Development Kit）。你可以通过以下命令进行更新和安装：

1. 更新系统：
   sudo apt-get update
sudo apt-get upgrade
2. 安装JDK：
   sudo apt-get install openjdk-11-jdk
   二、安装Hadoop
   在Ubuntu上安装Hadoop可以通过以下步骤完成：
3. 下载Hadoop：
   访问Hadoop官网（https://hadoop.apache.org/）下载最新版本的Hadoop软件包。
4. 解压安装包：
   tar -zxvf hadoop-3.3.0.tar.gz
5. 配置环境变量：
   打开~/.bashrc文件：
   nano ~/.bashrc
   在文件末尾添加以下内容：
   export HADOOP_HOME=/path/to/hadoop-3.3.0
export PATH=$PATH:$HADOOP_HOME/bin
   保存并退出。
6. 使环境变量生效：
   source ~/.bashrc
   三、配置文件
   在Hadoop的安装目录下，有几个重要的配置文件需要关注：
7. etc/hadoop/core-site.xml：用于配置HDFS（Hadoop Distributed File System）的相关参数，如NameNode的地址等。
8. etc/hadoop/hdfs-site.xml：用于配置HDFS的NameNode和DataNode的相关参数，如块大小、副本因子等。
9. etc/hadoop/mapred-site.xml：用于配置MapReduce的相关参数，如JobTracker的地址等。
10. etc/hadoop/yarn-site.xml：用于配置YARN（Yet Another Resource Negotiator）的相关参数，如ResourceManager的地址等。
    根据你的需求，可以在这些配置文件中进行相应的设置。具体设置方法可以参考Hadoop官方文档。
    四、运行模式选择
    在Ubuntu上搭建Hadoop环境后，可以根据需要选择运行模式。这里介绍单机模式和伪分布模式的配置方法：
11. 单机模式：当配置文件为空时，Hadoop完全运行在本地。该模式主要用于开发调试MapReduce程序的应用逻辑。在单机模式下，Hadoop将使用本地文件系统替代HDFS，因此无法实现分布式存储和计算。你可以通过以下命令启动单机模式的Hadoop：
    $HADOOP_HOME/bin/hadoop jar $HADOOP_HOME/share/hadoop/mapreduce/hadoop-mapreduce-examples-*.jar grep input output 'dfs[a-z.]+'
    该命令将使用MapReduce框架对输入文件进行grep操作，并将结果输出到output目录中。请确保input目录中包含了待处理的数据文件。
12. 伪分布模式：Hadoop守护进程运行在本地机器上，模拟一个小规模的的集群。该模式在单机模式之上增加了代码调试功能，允许你检查内存使用情况、HDFS输入输出以及其他的守护进程交互。在