Hadoop配置文件详解

Hadoop有很多配置文件，每个都有特定的功能和作用。这些文件通常存放在$HADOOP_HOME/etc/hadoop这个路径里，用户可以根据项目需求重新进行修改配置。以下是这些配置文件的详解：

1. core-site.xml：这个文件主要包含了一些基础的Hadoop配置信息。例如，fs.default.name是描述集群中NameNode结点的URI，包括协议、主机名称和端口号。集群中的每一台机器都需要知道NameNode的地址。DataNode结点会先在NameNode上注册，这样它们的数据才可以被使用。独立的客户端程序通过这个URI跟DataNode交互，以取得文件的块列表。hadoop.tmp.dir是hadoop文件系统依赖的基础配置，很多路径都依赖它。
2. hdfs-site.xml：这个文件主要针对HDFS（Hadoop Distributed File System）的配置。例如，dfs.replication决定着系统里面的文件块的数据备份个数。如果hdfs-site.xml中不配置namenode和datanode的存放位置，默认就放在hadoop.tmp.dir路径中。
3. mapred-site.xml：这个文件主要针对MapReduce的配置。例如，mapred.job.tracker是JobTracker的主机（或者IP）和端口。
4. hadoop-env.sh：这个文件主要用来设置Hadoop运行时需要的环境变量。例如，JAVA_HOME是必须设置的，即使我们当前的系统中设置了JAVA_HOME，它也是不认识的，因为Hadoop即使是在本机上执行，它也是把当前的执行环境当成远程服务器。
5. slaves：这是一个文本文件，记录了集群的主机名。
   总的来说，Hadoop的配置文件为用户提供了许多可配置的参数，以满足不同项目的需求。因此，对于使用Hadoop的人来说，理解和熟悉这些配置文件是非常重要的。