flume-使用avro源和接收器分层数据流

n3h0vuf2  于 2021-06-02  发布在  Hadoop
关注(0)|答案(1)|浏览(326)

**结案。**此问题不可复制或由打字错误引起。它目前不接受答案。
**想改进这个问题吗?**更新问题,使其成为堆栈溢出的主题。

两年前关门了。
改进这个问题
我尝试在不同机器上的两个代理之间使用avro源/接收器来设置一个简单的分层数据流。
vm-host-01节点上的第一个代理(称为“代理”)具有 netcat 来源,a memory 频道和 avro Flume。
vm-host-02节点上的第二个代理(称为“收集器”)具有 avro 来源,a memory 频道和 hdfs Flume。
这是第一个代理“agent”的配置。

agent.sources=s1
agent.channels=c1
agent.sinks=k1

agent.sources.s1.type=netcat
agent.sources.s1.channels=c1
agent.sources.s1.bind=vm-host-01
agent.sources.s1.port=12345

agent.channels.c1.type=memory

agent.sinks.k1.type=avro
agent.sinks.k1.channel=c1
agent.sinks.k1.hostname=vm-host-02
agent.sinks.k1.port=42424

以下是第二台计算机上第二个代理“收集器”的配置:

collector.sources=av1
collector.channels=c1
collector.sinks=k1

collector.sources.av1.type=avro
collector.sources.av1.bind=vm-host-02
collector.sources.av1.port=42424
collector.sources.av1.channels=c1

collector.channels.c1.type=memory

collecor.sinks.k1.type=hdfs
collecor.sinks.k1.hdfs.path=/user/root/flume/mydata
collecor.sinks.k1.hdfs.fileType=DataStream
collecor.sinks.k1.hdfs.writeType=text
collecor.sinks.k1.hdfs.filePrefix=Hello
collecor.sinks.k1.hdfs.fileSuffix=.txt
collecor.sinks.k1.channel=c1

现在,当我telnet到第一个主机(vm-host-01)并输入一些字符串时,第一个代理的命令提示符甚至没有改变(命令也不会提示第二个主机)。
如果我编辑“代理”的配置并将其接收器更改为 hdfs ,我可以telnet在,输入一个字符串,看到命令提示符,这是写到hdfs。
仅仅添加avro接收器似乎就禁用了它的功能 netcat 来源于接受输入。

3df52oht

3df52oht1#

哎呀,我把“collector”错写成了“collecor”。

相关问题