是否可以使用Flume作为Kafka生产者的日志摄取？

sd2nnvve 于 2021-06-04 发布在 Flume

关注(0)|答案(2)|浏览(365)

我的任务是为应用程序日志摄取配置一个简单的管道。这个管道的一个先决条件是使用kafka作为传输协议。据我所知，flume具有内置的接收日志文件的功能。有没有一种方法可以使用flume作为一个生产者，让它把它的输出传递到一个kafka主题上？

flume apache-kafka

来源：https://stackoverflow.com/questions/38412023/is-it-possible-to-use-flume-as-kafka-producer-for-log-ingestion

2条答案

按热度按时间

xcitsw881#

是的，你可以用。如前面的答复中所述。
只想补充一点，您需要使配置类似于：


# Sources, channels, and sinks are defined per

# agent name, in this case flume1.

flume1.sources  = kafka-source-1
flume1.channels = hdfs-channel-1
flume1.sinks    = hdfs-sink-1

# For each source, channel, and sink, set

# standard properties.

flume1.sources.kafka-source-1.type = org.apache.flume.source.kafka.KafkaSource
flume1.sources.kafka-source-1.zookeeperConnect = ...

赞(0）回复(0）举报 2021-06-04

6vl6ewon2#

是的，你可以用flume作为Kafka的制作人。请看一下flume提供的api：https://flume.apache.org/releases/content/1.6.0/apidocs/org/apache/flume/sink/kafka/kafkasink.html

赞(0）回复(0）举报 2021-06-04