大数据--Flume1.9.0 下载与安装

一、Flume简介

Apache Flume 是一个分布式、高可靠、高可用的开源系统，核心用于海量日志数据的实时采集、聚合与传输，是大数据生态中数据采集层的核心工具。可以用于日志采集也可以采集其他类型的业务数据，例如网络流量数据、社交媒体生成的数据和电子邮件等。

二、下载 Flume 1.9.0 二进制包

官方稳定二进制包（已编译，直接用）：

下载到 /opt 目录（推荐安装路径），我的在/usr/local/software/tarscd /usr/local/software/tarswget https://archive.apache.org/dist/flume/1.9.0/apache-flume-1.9.0-bin.tar.gz

三、解压、重命名、赋权

解压tar -zxvf apache-flume-1.9.0-bin.tar.gz# 重命名为 flume（方便后续操作）mv apache-flume-1.9.0-bin ../flume# 赋权给当前用户（避免权限问题）chown -R $USER:$USER ../flume# 删除压缩包（可选）rm -f apache-flume-1.9.0-bin.tar.gz

四、核心配置

4.1 配置 flume-env.sh（指定 JAVA_HOME）

cd /usr/local/software/flume/conf复制模板cp flume-env.sh.template flume-env.sh# 编辑配置vim flume-env.sh

添加 / 修改以下两行（必须配置 JAVA_HOME）：

export JAVA_HOME=/usr/local/software/java/jdk1.8.0_141/  替换为你的JDK路径export JAVA_OPTS="-Xms1024m -Xmx2048m"  # 调整JVM内存（生产建议2G以上）

4.2 配置系统环境变量（可选，方便全局调用）

vim /etc/profile末尾添加export FLUME_HOME=/usr/local/software/flumeexport PATH=$PATH:$FLUME_HOME/bin# 生效source /etc/profile

五、验证安装（关键）

5.1 查看版本

flume-ng version

成功输出：

Flume 1.9.0Source code repository: https://git-wip-us.apache.org/repos/asf/flume.gitRevision: 8f8c3ef2a4d5962f61b228f114e19a52f2f2a23aCompiled by gshevach on Wed Sep 18 12:17:55 PDT 2019From source with checksum 8f8c3ef2a4d5962f61b228f114e19a52f2f2a23a