将syslog中的源数据导入flume

lawou6xi  于 2021-06-04  发布在  Flume
关注(0)|答案(1)|浏览(425)

我试图设置一个flume代理来从syslog服务器获取数据。基本上,我在一个服务器(server1)上设置了一个syslog服务器来接收syslog事件,然后将所有消息转发到安装了flume代理的不同服务器(server2),最后所有数据都将接收到kafka集群。
Flume配置如下。

  1. # For each one of the sources, the type is defined
  2. agent.sources.syslogSrc.type = syslogudp
  3. agent.sources.syslogSrc.port = 9090
  4. agent.sources.syslogSrc.host = server2
  5. # The channel can be defined as follows.
  6. agent.sources.syslogSrc.channels = memoryChannel
  7. # Each channel's type is defined.
  8. agent.channels.memoryChannel.type = memory
  9. # Other config values specific to each type of channel(sink or source)
  10. # can be defined as well
  11. # In this case, it specifies the capacity of the memory channel
  12. agent.channels.memoryChannel.capacity = 100
  13. # config for kafka sink
  14. agent.sinks.kafkaSink.channel = memoryChannel
  15. agent.sinks.kafkaSink.type = org.apache.flume.sink.kafka.KafkaSink
  16. agent.sinks.kafkaSink.kafka.topic = flume
  17. agent.sinks.kafkaSink.kafka.bootstrap.servers = <kafka.broker.list>:9092
  18. agent.sinks.kafkaSink.kafka.flumeBatchSize = 20
  19. agent.sinks.kafkaSink.kafka.producer.acks = 1
  20. agent.sinks.kafkaSink.kafka.producer.linger.ms = 1
  21. agent.sinks.kafkaSink.kafka.producer.compression.type = snappy

但是,不知何故,logsys没有被注入Flume代理。
敬请指教。

z9zf31ra

z9zf31ra1#

我在所谓的服务器(server1)上设置了一个syslog服务器
这个 syslogudp 源必须绑定到 server1 主办

  1. agent.sources.syslogSrc.host = server1

然后将所有消息转发到不同的服务器(server2)
不同的服务器指向接收器

  1. agent.sinks.kafkaSink.kafka.bootstrap.servers = server2:9092

flume代理只是一个承载这些组件(源、汇、通道)以促进事件流的进程。

相关问题