本文主要向大家介绍了【云计算】flume多路复制案例解析，通过具体的内容向大家展现，希望对大家学习云计算有所帮助。

多路复制案例

一个source的数据，同时写入到多个channel中，多个channel中的数据是一样的。

Agent1 -à agent2/agent3

Agent1：

Source：netcat

Channel：memory 2

Sink：avro 2

Agent2： Agent3：

Source：avro

Channel：memory

Sink：logger

Agent之间的通信 avro

利用一个选择器：

Selecttor.type 决定多路取数据的规则

Agent1的配置：

case_six_agent01.properties

        #2个channel和2个sink的配置文件  # Name the components on this agent  a1.sources = s1  a1.sinks = k1 k2  a1.channels = c1 c2  # Describe/configure the source  a1.sources.s1.type = netcat  a1.sources.s1.bind = 192.168.191.201  a1.sources.s1.port = 44444  # 指定source进行扇出到多个channnel的规则  a1.sources.s1.selector.type = replicating  a1.sources.s1.channels = c1 c2  # Use a channel which buffers events in memory  # 指定channel c1  a1.channels.c1.type = memory  # 指定c2的channel  a1.channels.c2.type = memory  # Describe the sink  # 指定k1的设置  a1.sinks.k1.type = avro  a1.sinks.k1.channel = c1  a1.sinks.k1.hostname = 192.168.191.202  a1.sinks.k1.port = 44445  # 指定k2的  a1.sinks.k2.type = avro  a1.sinks.k2.channel = c2  a1.sinks.k2.hostname = 192.168.191.203  a1.sinks.k2.port = 44445      
 

Agent2的配置：

case_six_agent02.properties

        a1.sources=s1  a1.channels=c1  a1.sinks=k1  #设定sources 数据源监听本机的44444端口  a1.sources.s1.channels=c1  a1.sources.s1.type=avro  #指定ip或者主机名  a1.sources.s1.bind=192.168.191.202  #指定需要监控的端口  a1.sources.s1.port=44445  #channel  a1.channels.c1.type=memory  #sinks 写出数据 logger  a1.sinks.k1.channel=c1  a1.sinks.k1.type=logger      
 

Agent3的配置：

case_six_agent02.properties

        a1.sources=s1  a1.channels=c1  a1.sinks=k1  #设定sources 数据源监听本机的44444端口  a1.sources.s1.channels=c1  a1.sources.s1.type=avro  #指定ip或者主机名  a1.sources.s1.bind=192.168.191.203  #指定需要监控的端口  a1.sources.s1.port=44445  #channel  a1.channels.c1.type=memory  #sinks 写出数据 logger  a1.sinks.k1.channel=c1  a1.sinks.k1.type=logger      
 

上传，发送文件：（也直接发到相应节点上可以）

启动：

先启动agent2 和 agent3：

hadoop02:

bin/flume-ng agent --conf conf --conf-file /home/hadoop/case_six_agent02.properties --name a1 -Dflume.root.logger=INFO,console

hadoop03:

bin/flume-ng agent --conf conf --conf-file /home/hadoop/case_six_agent03.properties --name a1 -Dflume.root.logger=INFO,console

再启动agent1：

flume-ng agent --conf conf --conf-file /home/hadoop/case_six_agent01.properties --name a1 -Dflume.root.logger=INFO,console

发送消息

本文由职坐标整理并发布，希望对同学们有所帮助。了解更多详情请关注职坐标大数据云计算大数据安全频道！