Flume1.11.0默认Java8,如果系统环境为Java17,则额外需要配置Java8
前置条件：系统已经部署Java8和Java17,位置如下：
/usr/local/soft/jdk-17.0.1/
/usr/local/soft/jdk1.8.0_381/
一、上传解压
将apache-flume-1.11.0-bin.tar.gz软件包上传至/usr/local/soft文件夹下
cd /usr/local/soft tar -zxvf apache-flume-1.11.0-bin.tar.gz二、添加系统环境变量
编辑环境变量
vi /etc/profile添加如下内容
export FLUME_HOME=/usr/local/soft/apache-flume-1.11.0-bin export PATH=$PATH:$FLUME_HOME/bin使环境变量生效
source /etc/profile三、修改Flume环境变量
拷贝环境变量文件
cd /usr/local/soft/apache-flume-1.11.0-bin/conf/ cp flume-env.sh.template flume-env.sh添加内容
export JAVA_HOME=/usr/local/soft/jdk1.8.0_381编辑 flume-ng文件
vi /usr/local/soft/apache-flume-1.11.0-bin/bin/flume-ng
前面添加一下内容
JAVA_HOME=/usr/local/soft/jdk1.8.0_381 FLUME_JAVA_OPTS="-Xms512m -Xmx2048m"
四、配置文件
客户端(Source)：收集信息
拷贝配置文件：
cp flume-conf.properties.template flume-client.properties配置文件内容：
#分别指定agent的sources，sinks, channels的名称 名称可以自定义
#分别指定agent的sources，sinks, channels的名称 名称可以自定义 a1.sources = s1 a1.sinks = k1 a1.channels = c1 #配置目录scource a1.sources.s1.type =spooldir a1.sources.s1.spoolDir =/usr/local/data/logs/ a1.sources.s1.fileHeader= true a1.sources.s1.channels =c1 #配置sink a1.sinks.k1.type = logger a1.sinks.k1.channel = c1 #配置channel(内存做缓存) a1.channels.c1.type = memory五、启动
cd /usr/local/soft/apache-flume-1.11.0-bin/conf/ flume-ng agent -n a1 -c conf -f flume-client.properties -Dflume.root.logger=DEBUG,console其中：
-n:agent名称
-c:配置文件路径conf
-f:配置文件名称
如果还是有错，则直接指定JAVA_HOME
cd /usr/local/soft/apache-flume-1.11.0-bin/conf/ JAVA_HOME=/usr/local/soft/jdk1.8.0_381 FLUME_JAVA_OPTS="-Xms512m -Xmx2048m" /usr/local/soft/apache-flume-1.11.0-bin/bin/flume-ng agent -n a1 -c conf -f flume-client.properties -Dflume.root.logger=INFO,console五、执行验证
将一个文本文件放入到/usr/local/data/logs/文件夹下，查看shell页面变化
附：集群拷贝
scp -r /usr/local/soft/apache-flume-1.11.0-bin root@hadoop101:/usr/local/soft scp -r /usr/local/soft/apache-flume-1.11.0-bin root@hadoop102:/usr/local/soft scp /etc/profile root@hadoop101:/etc/profile scp /etc/profile root@hadoop102:/etc/profile
