从零构建Hadoop 2.7.3完全分布式集群指南

一、前期准备
在开始部署之前，我们需要进行一些前期准备工作：

1. 确认硬件资源：确保你的服务器具备足够的内存、存储和网络带宽等资源。
2. 选择操作系统：推荐使用Linux操作系统，如Ubuntu 16.04或CentOS 7。
3. 获取Hadoop软件：从Apache Hadoop官网下载Hadoop 2.7.3的二进制包。
4. 准备虚拟机软件：如果使用虚拟机部署Hadoop集群，需要准备VMware或VirtualBox等虚拟化软件。
5. 配置网络：确保服务器之间的网络连接稳定，并配置好相应的防火墙规则。
   二、安装虚拟机
   以VMware为例，创建三台虚拟机用于部署Hadoop集群：
6. 创建虚拟机：打开VMware Workstation，新建三台虚拟机，分别命名为hadoop1、hadoop2和hadoop3。
7. 配置虚拟机：为每台虚拟机分配相应的硬件资源，如内存、CPU和存储空间。确保网络适配器设置为桥接模式。
8. 安装操作系统：为每台虚拟机安装Linux操作系统，并按照要求进行常规的操作系统配置。
   三、配置网络和SSH访问
   为了使集群中的各个节点能够相互通信，我们需要进行以下网络和SSH配置：
9. 配置主机名和IP地址：为每台虚拟机配置主机名和静态IP地址。在/etc/hosts文件中添加相应的主机名和IP地址映射。
10. 配置网络防火墙：开放虚拟机之间的网络通信端口，如SSH的22端口和Hadoop相关服务的端口（如50070、9000等）。
11. SSH无密码登录：为了方便管理集群，我们需要配置SSH无密码登录。在每台虚拟机上生成SSH密钥对，并将公钥复制到其他虚拟机的~/.ssh/authorized_keys文件中。这样就可以实现通过SSH免密码登录其他虚拟机。
    四、安装和配置Hadoop
    接下来，我们将分别在每台虚拟机上安装和配置Hadoop：
12. 安装Java：首先，确保每台虚拟机上都安装了Java开发工具包（JDK）。可以从Oracle官网下载并安装适合Linux系统的JDK版本。
13. 创建Hadoop用户：在每台虚拟机上创建一个名为hadoop的用户，并为其分配sudo权限。
14. 解压Hadoop软件包：将之前下载的Hadoop 2.7.3二进制包解压到相应的目录中。
15. 配置Hadoop环境变量：在hadoop用户的~/.bashrc文件中，添加Hadoop的路径和相关环境变量。
16. 格式化HDFS文件系统：使用hadoop用户执行hdfs dfs -mkdir /tmp和hdfs dfs -mkdir /user/hadoop命令创建HDFS文件系统的临时目录和用户目录。然后执行hdfs dfs -chmod 777 /tmp命令设置临时目录的权限。最后执行hdfs dfs -format命令格式化HDFS文件系统。
17. 配置Hadoop核心文件：编辑Hadoop的conf目录下的core-site.xml文件，设置HDFS文件系统的NameNode地址和DataNode地址。同时，需要配置文件系统的块大小、数据节点保留副本数量等信息。
18. 配置Hadoop分布式文件系统（HDFS）和MapReduce：编辑Hadoop的conf目录下的hdfs-site.xml文件，配置HDFS的相关参数，如NameNode的Web界面地址、DataNode的存储路径等。同时，需要配置MapReduce的相关参数，如JobTracker和TaskTracker的地址等。
19. 启动Hadoop集群：使用以下命令启动Hadoop集群：

• 启动HDFS：start-dfs.sh
• 启动MapReduce：start-mapred.sh
• 查看Hadoop状态：jps
  五、验证Hadoop集群是否正常运行
  为了验证Hadoop集群是否正常运行，我们可以执行以下操作：

1. 查看HDFS文件系统状态：在浏览器中访问NameNode的Web界面（默认是http://localhost:50070/），查看HDFS文件系统的状态信息。
2. 运行一个简单的MapReduce程序：使用Hadoop提供的示例程序，运行一个简单的WordCount程序来测试集群的功能。可以使用以下命令来运行WordCount程序