如何使用cloudera manager在单个节点上运行多个flume代理?

t1qtbnec  于 2021-06-04  发布在  Flume
关注(0)|答案(1)|浏览(557)

我已经在cdh5.8.0集群上安装了flume。flume代理位于运行flume任务的单个节点上。我使用linux终端ro通过flume运行两个单独的数据摄取,并使用单独的配置文件。
我想通过cloudera manager监视这两个摄取过程。尽管cm中的flume配置面板提供了添加自定义conf属性的选项,但这是针对单个flume代理的。
我不能通过cm在同一台主机上添加其他flume代理。如何使用cloudera manager监视这两个摄取过程?

iq3niunx

iq3niunx1#

如果您只能监视一个flume代理,我认为您可以将两个代理配置文件合并到一个flume代理中,以便运行一个flume代理(您可以监视的那个)。
您可以根据需要声明任意多个源、通道和接收器:

a1.sources = r1 r2
a1.sinks = k1 k2
a1.channels = c1 c2

然后将它们适当地捆绑起来:

a1.sources.r1.channels = c1
a1.sources.r2.channels = c2
...
a1.sinks.k1.channel = c1
a1.sinks.k2.channel = c2

相关问题