在 Docker 中安装 Hadoop 集群并使用 Java API 访问 HDFS

首先，确保您的系统已经安装了 Docker。如果您还没有安装 Docker，请根据您的操作系统下载并安装相应的版本。

步骤一：创建 Hadoop 镜像

在 Dockerfile 中定义 Hadoop 的基础镜像，配置环境变量和安装必要的软件包。以下是一个简单的例子：

FROM ubuntu:latest
MAINTAINER Your Name
ENV HADOOP_VERSION 3.3.1
ENV HADOOP_HOME /usr/local/hadoop
RUN apt-get update && apt-get install -y wget openjdk-11-jdk
RUN wget -P /usr/local http://mirrors.aliyun.com/apache/hadoop/common/hadoop-$HADOOP_VERSION/hadoop-$HADOOP_VERSION.tar.gz
RUN tar -xzf /usr/local/hadoop-$HADOOP_VERSION.tar.gz -C /usr/local && rm /usr/local/hadoop-$HADOOP_VERSION.tar.gz

步骤二：构建镜像

在包含 Dockerfile 的目录中运行以下命令，构建 Hadoop 镜像：

docker build -t hadoop:latest .

步骤三：运行容器

使用以下命令运行 Hadoop 容器：

docker run -itd --name hadoop_container hadoop:latest /bin/bash

步骤四：配置 Hadoop 集群

进入容器内部，编辑 Hadoop 配置文件。首先，进入容器：

docker exec -it hadoop_container bash

然后，编辑 HDFS 的配置文件 hdfs-site.xml，设置 NameNode 和 DataNode 的地址。例如：

<configuration>
<property>
<name>dfs.namenode.name.dir</name>
<value>/hadoop/namenode</value>
</property>
<property>
<name>dfs.datanode.data.dir</name>
<value>/hadoop/datanode</value>
</property>
</configuration>

步骤五：启动 Hadoop 集群

在容器内部，启动 Hadoop 集群：

$HADOOP_HOME/bin/hdfs namenode -format # 格式化 NameNode（仅首次启动时需要）
$HADOOP_HOME/sbin/start-dfs.sh # 启动 DataNode 和 NameNode

步骤六：使用 Java API 访问 HDFS

首先，将 Hadoop 的 jar 包添加到 Java 的类路径中。然后，编写一个简单的 Java 程序来访问 HDFS：

import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.FileSystem;
import org.apache.hadoop.fs.Path;
import java.io.BufferedWriter;
import java.io.OutputStream;
import java.io.OutputStreamWriter;