Windows下安装Hadoop（手把手包成功安装）

一、引言：为何选择Windows安装Hadoop？

Hadoop作为大数据生态的核心框架，传统上多运行于Linux环境。但实际开发中，许多开发者更习惯使用Windows系统进行本地开发与测试。本文将详细介绍如何在Windows环境下完成Hadoop的完整安装与配置，帮助开发者在熟悉的操作系统中快速搭建Hadoop环境，降低学习成本。

二、安装前环境准备

1. 硬件要求

• 内存：建议8GB以上（开发环境4GB可运行但性能受限）
• 磁盘空间：至少20GB可用空间（包含Hadoop及依赖软件）
• CPU：双核以上处理器

2. 软件依赖

• Java JDK：Hadoop运行依赖Java环境，需安装JDK 8或11（推荐使用Oracle JDK或OpenJDK）

  • 下载地址：https://www.oracle.com/java/technologies/javase/javase8-archive-downloads.html
  • 安装后配置环境变量：

    # 设置JAVA_HOME
    JAVA_HOME=C:\Program Files\Java\jdk1.8.0_291
    # 更新Path变量
    Path=%JAVA_HOME%\bin;%Path%

  • 验证安装：

    java -version
    javac -version

• Winutils：Windows特有的Hadoop辅助工具（解决Hadoop在Windows上的权限问题）

  • 下载地址：https://github.com/steveloughran/winutils
  • 解压后将bin目录下的winutils.exe和hadoop.dll复制到Hadoop的bin目录

3. 系统环境变量配置

• 新建系统变量HADOOP_HOME，值为Hadoop安装路径（如C:\hadoop-3.3.4）
• 更新Path变量，添加%HADOOP_HOME%\bin

三、Hadoop安装步骤

1. 下载Hadoop二进制包

• 访问Apache Hadoop官网：https://hadoop.apache.org/releases.html
• 选择稳定版本（如3.3.4），下载hadoop-3.3.4.tar.gz
• 解压至目标目录（如C:\hadoop-3.3.4）

2. 核心配置文件修改

（1）hadoop-env.cmd配置

• 修改%HADOOP_HOME%\etc\hadoop\hadoop-env.cmd，设置Java路径：

  set JAVA_HOME=C:\Program Files\Java\jdk1.8.0_291

（2）core-site.xml配置

• 编辑%HADOOP_HOME%\etc\hadoop\core-site.xml，添加以下内容：

  <configuration>
    <property>
      <name>fs.defaultFS</name>
      <value>hdfs://localhost:9000</value>
    </property>
  </configuration>

（3）hdfs-site.xml配置

• 配置HDFS副本数（本地开发可设为1）：

  <configuration>
    <property>
      <name>dfs.replication</name>
      <value>1</value>
    </property>
  </configuration>

（4）mapred-site.xml配置（可选）

• 复制mapred-site.xml.template为mapred-site.xml，配置MapReduce框架：

  <configuration>
    <property>
      <name>mapreduce.framework.name</name>
      <value>yarn</value>
    </property>
  </configuration>

（5）yarn-site.xml配置

• 配置YARN资源管理：

  <configuration>
    <property>
      <name>yarn.nodemanager.aux-services</name>
      <value>mapreduce_shuffle</value>
    </property>
  </configuration>

3. 格式化HDFS

• 以管理员身份打开CMD，执行：

  hdfs namenode -format

• 成功输出应包含Storage directory ... has been successfully formatted

4. 启动Hadoop服务

• 启动HDFS和YARN：

  %HADOOP_HOME%\sbin\start-dfs.cmd
  %HADOOP_HOME%\sbin\start-yarn.cmd

• 验证服务状态：

  jps

  正常应显示NameNode、DataNode、ResourceManager、NodeManager等进程

四、常见问题解决方案

1. 权限拒绝错误（Permission denied）

• 原因：Windows缺少Linux的文件权限系统
• 解决：
  • 确保winutils.exe和hadoop.dll在%HADOOP_HOME%\bin目录
  • 手动创建HDFS目录（管理员CMD）：

    %HADOOP_HOME%\bin\winutils.exe chmod 777 /tmp
    %HADOOP_HOME%\bin\winutils.exe chmod 777 /user

2. 端口冲突

• 检查方法：

  netstat -ano | findstr 9000  # 检查NameNode端口
  netstat -ano | findstr 8088  # 检查YARN端口

• 解决：修改core-site.xml或yarn-site.xml中的端口配置

3. Java版本不兼容

• 现象：启动时报UnsupportedClassVersionError
• 解决：
  • 确认Java版本与Hadoop兼容（Hadoop 3.x支持JDK 8/11）
  • 统一使用32位或64位版本（Java与Hadoop需同架构）

五、验证安装成功

1. Web界面验证

• HDFS管理界面：http://localhost:9870
• YARN资源管理界面：http://localhost:8088

2. 运行示例程序

• 创建输入目录：

  hdfs dfs -mkdir /input

• 上传测试文件：

  echo "Hello Hadoop" > test.txt
  hdfs dfs -put test.txt /input

• 运行WordCount示例：

  hadoop jar %HADOOP_HOME%\share\hadoop\mapreduce\hadoop-mapreduce-examples-3.3.4.jar wordcount /input /output

• 查看结果：

  hdfs dfs -cat /output/part-r-00000

六、进阶建议

1. 配置伪分布式集群：通过修改workers文件和masters文件，可模拟多节点环境
2. 集成IDE：在IntelliJ IDEA或Eclipse中配置Hadoop插件，提升开发效率
3. 版本管理：建议使用Windows的WSL2或Docker运行Linux版Hadoop以获得更好兼容性
4. 性能优化：调整hdfs-site.xml中的块大小（dfs.blocksize）和副本数（dfs.replication）

七、总结

通过本文的详细步骤，开发者可在Windows环境下完成Hadoop的完整安装与基础配置。关键点包括：

1. 严格匹配Java与Hadoop版本
2. 正确配置Winutils解决权限问题
3. 通过Web界面和示例程序验证安装
4. 掌握常见问题的排查方法

对于生产环境，建议使用Linux系统以获得更好的稳定性和性能。但在开发阶段，Windows安装方案能显著降低学习门槛，帮助开发者快速掌握Hadoop核心技术。