Flume实战案例：从数据采集到HDFS存储

Flume是一款分布式、高可靠、高可用的海量日志采集、聚合和传输的系统，主要用于数据采集。它可以用于监控数据，例如服务器性能监控；也可以用于数据采集，例如社交网络数据采集等。下面我们将通过一个Flume采集文件内容并上传到HDFS的案例，来深入理解Flume的实际应用。

案例背景：
我们有一个日志文件目录/data/log/studentDir，该目录下会不断生成新的日志文件。我们的目标是将这些日志文件的内容实时采集，并上传到HDFS进行存储。

Flume配置：
首先，我们需要将Agent的配置保存到flume.conf目录下的file-to-hdfs.conf文件中。这个配置文件描述了Flume的源（Source）、通道（Channel）和汇（Sink）的配置。

# Name the components on this agent
a1.sources = r1
a1.sinks = k1
a1.channels = c1
# Describe/configure the source
a1.sources.r1.type = spooldir
a1.sources.r1.spoolDir = /data/log/studentDir
# Use a channel which buffers events in memory
a1.channels.c1.type = memory
a1.channels.c1.capacity = 1000
a1.channels.c1.transactionCapacity = 100
# Bind the source and sink to the channel
a1.sources.r1.channels = c1
a1.sinks.k1.channel = c1
# Describe the sink
a1.sinks.k1.type = hdfs
a1.sinks.k1.hdfs.path = hdfs://localhost:9000/flume/%Y-%m-%d/%H
a1.sinks.k1.hdfs.fileType = DataStream
a1.sinks.k1.hdfs.writeFormat = Text
a1.sinks.k1.hdfs.batchSize = 1000
a1.sinks.k1.hdfs.rollSize = 0
a1.sinks.k1.hdfs.rollCount = 10000
a1.sinks.k1.hdfs.rollInterval = 300

配置解析：

• a1.sources.r1.type = spooldir：设置源类型为spooldir，表示从指定目录（/data/log/studentDir）中读取新的日志文件。
• a1.channels.c1.type = memory：设置通道类型为memory，表示使用内存作为缓冲区。
• a1.sinks.k1.type = hdfs：设置汇类型为hdfs，表示将数据写入到HDFS。
• a1.sinks.k1.hdfs.path = hdfs://localhost:9000/flume/%Y-%m-%d/%H：设置HDFS的目标路径，其中%Y-%m-%d/%H表示按年月日时分进行目录划分。
• a1.sinks.k1.hdfs.fileType = DataStream：设置文件类型为DataStream，表示每个文件都是一个数据流。
• a1.sinks.k1.hdfs.writeFormat = Text：设置写入格式为Text，表示以文本形式写入数据。
• a1.sinks.k1.hdfs.batchSize = 1000：设置批量大小为1000，表示每次写入HDFS的数据量。
• a1.sinks.k1.hdfs.rollSize = 0：设置滚动大小为0，表示不根据文件大小进行滚动。
• a1.sinks.k1.hdfs.rollCount = 10000：设置滚动计数为10000，表示每写入10000条记录就滚动生成新文件。
• a1.sinks.k1.hdfs.rollInterval = 300：设置滚动间隔为300秒，表示每300秒滚动生成新文件。

操作步骤：

1. 启动HDFS集群，并确保Flume能够正常连接到HDFS。
2. 在flume.conf目录下创建file-to-hdfs.conf