一、Flume简介
Apache Flume 是一个分布式、高可靠、高可用的开源系统,核心用于海量日志数据的实时采集、聚合与传输,是大数据生态中数据采集层的核心工具。可以用于日志采集也可以采集其他类型的业务数据,例如网络流量数据、社交媒体生成的数据和电子邮件等。二、下载 Flume 1.9.0 二进制包
下载到 /opt 目录(推荐安装路径),我的在/usr/local/software/tarscd /usr/local/software/tarswget https://archive.apache.org/dist/flume/1.9.0/apache-flume-1.9.0-bin.tar.gz
三、解压、重命名、赋权
解压tar -zxvf apache-flume-1.9.0-bin.tar.gz# 重命名为 flume(方便后续操作)mv apache-flume-1.9.0-bin ../flume# 赋权给当前用户(避免权限问题)chown -R $USER:$USER ../flume# 删除压缩包(可选)rm -f apache-flume-1.9.0-bin.tar.gz
四、核心配置
4.1 配置 flume-env.sh(指定 JAVA_HOME)
cd /usr/local/software/flume/conf复制模板cp flume-env.sh.template flume-env.sh# 编辑配置vim flume-env.sh
添加 / 修改以下两行(必须配置 JAVA_HOME):export JAVA_HOME=/usr/local/software/java/jdk1.8.0_141/ 替换为你的JDK路径export JAVA_OPTS="-Xms1024m -Xmx2048m" # 调整JVM内存(生产建议2G以上)
4.2 配置系统环境变量(可选,方便全局调用)
vim /etc/profile末尾添加export FLUME_HOME=/usr/local/software/flumeexport PATH=$PATH:$FLUME_HOME/bin# 生效source /etc/profile
五、验证安装(关键)
5.1 查看版本
Flume 1.9.0Source code repository: https://git-wip-us.apache.org/repos/asf/flume.gitRevision: 8f8c3ef2a4d5962f61b228f114e19a52f2f2a23aCompiled by gshevach on Wed Sep 18 12:17:55 PDT 2019From source with checksum 8f8c3ef2a4d5962f61b228f114e19a52f2f2a23a