Ubuntu上配置Hadoop超详细教程：从零到实战

一、环境准备
在开始之前，请确保你的Ubuntu系统满足以下要求：

• 64位操作系统
• 至少4GB内存
• 至少50GB的可用硬盘空间
  接下来，我们将更新系统软件包：

1. 打开终端，输入以下命令更新软件包列表：

   sudo apt update

2. 安装必要的软件包：

   sudo apt install -y vim git wget curl

3. 添加Java开发工具包（JDK）：
   根据你的需求选择合适的JDK版本进行安装。这里以OpenJDK 11为例：

   sudo apt install -y openjdk-11-jdk

   二、安装Hadoop
   本节将指导你完成Hadoop的安装过程。
4. 下载Hadoop安装包。访问Hadoop官网或使用以下命令从终端下载：

   wget https://downloads.apache.org/hadoop/common/hadoop-3.3.0/hadoop-3.3.0.tar.gz

5. 解压安装包：

   tar -zxvf hadoop-3.3.0.tar.gz

6. 将解压后的Hadoop目录移动到合适的位置，例如 /usr/local：

   sudo mv hadoop-3.3.0 /usr/local/hadoop

7. 配置环境变量。打开~/.bashrc文件：

   vim ~/.bashrc

8. 在文件末尾添加以下内容：

   export HADOOP_HOME=/usr/local/hadoop
   export PATH=$PATH:$HADOOP_HOME/bin

9. 保存并退出编辑器。使环境变量生效：

   source ~/.bashrc

   三、配置Hadoop
   本节将指导你完成Hadoop的配置过程。
10. 创建Hadoop目录并设置权限：

    sudo mkdir /mnt/hadoop
    sudo chown $USER:$USER /mnt/hadoop

11. 配置Hadoop文件系统（HDFS）的存储目录：
    打开core-site.xml文件：

    cd /usr/local/hadoop/etc/hadoop
    vim core-site.xml

    在文件中添加以下内容：

    <configuration>
    <property>
    <name>fs.defaultFS</name>
    <value>hdfs://localhost:9000</value>
    </property>
    <property>
    <name>hadoop.tmp.dir</name>
    <value>/mnt/hadoop/hdfs-tmp</value>
    </property>
    </configuration>

12. 配置MapReduce的临时目录：
    打开mapred-site.xml文件：

    vim mapred-site.xml

    在文件中添加以下内容：

    <configuration>
    <property>
    <name>mapreduce.framework.name</name>
    <value>yarn</value>
    </property>
    <property>
    <name>mapreduce.map.output.compress</name>
    <value>true</value>
    </property>
    <property>
    <name>mapreduce.map.output.compress.codec</name>
    <value>org.apache.hadoop.io.compress.SnappyCodec</value>
    </property>
    </configuration>

13. 配置YARN的资源管理目录：
    打开yarn-site.xml文件：

    vim yarn-site.xml

    在文件中添加以下内容：
    ```xml
    
    
    yarn.resourcemanager.hostname
    localhost
    
    
    yarn.nodemanager.aux-services
    <