td代理fluentd无法向Kafka发送消息

2ic8powd  于 2021-06-06  发布在  Kafka
关注(0)|答案(1)|浏览(710)

我让一个td代理毫无问题地向Kafka队列发送消息。但现在我得到以下错误。我重新启动了代理,但运气不好。我手动刷新缓冲区,但运气不好。
任何关于幸福的建议都是欢迎的
2019-03-20 16:44:06+0100[warn]:#0发生发送异常:未能将消息发送到test-250-events/0 2019-03-20 16:44:06+0100[warn]:#0异常回溯:/opt/td-agent/embedded/lib/ruby/gems/2.4.0/gems/ruby-kafka-0.6.8/lib/kafka/producer.rb:330:in deliver_messages_with_retries' /opt/td-agent/embedded/lib/ruby/gems/2.4.0/gems/ruby-kafka-0.6.8/lib/kafka/producer.rb:238:in 阻止传递消息'/opt/td-agent/embedded/lib/ruby/gems/2.4.0/gems/ruby-kafka-0.6.8/lib/kafka/instrumenter.rb:23:in instrument' /opt/td-agent/embedded/lib/ruby/gems/2.4.0/gems/ruby-kafka-0.6.8/lib/kafka/producer.rb:231:in 传递消息'/opt/td agent/embedded/lib/ruby/gems/2.4.0/gems/fluent-plugin-kafka-0.7.9/lib/fluent/plugin/out\u kafka\u buffered.rb:281:in deliver_messages' /opt/td-agent/embedded/lib/ruby/gems/2.4.0/gems/fluent-plugin-kafka-0.7.9/lib/fluent/plugin/out_kafka_buffered.rb:344:in 编写'/opt/td-agent/embedded/lib/ruby/gems/2.4.0/gems/fluentd-1.2.6/lib/fluent/compat/output.rb:131:in write' /opt/td-agent/embedded/lib/ruby/gems/2.4.0/gems/fluentd-1.2.6/lib/fluent/plugin/output.rb:1111:in 试试\u flush'/opt/td-agent/embedded/lib/ruby/gems/2.4.0/gems/fluentd-1.2.6/lib/fluent/plugin/output.rb:1394:in flush_thread_run' /opt/td-agent/embedded/lib/ruby/gems/2.4.0/gems/fluentd-1.2.6/lib/fluent/plugin/output.rb:445:in 在start'/opt/td agent/embedded/lib/ruby/gems/2.4.0/gems/fluentd-1.2.6/lib/fluent/plugin\u helper/thread.rb:78:in“block in thread\u create”2019-03-20 16:44:06+0100[info]:#0初始化的kafka生产者:kafka 2019-03-20 16:44:06+0100[warn]:#0未能刷新缓冲区。retry_time=5 next_retry_seconds=2019-03-20 16:44:05+0100 chunk=“58471660306e5c7712d0c2ff1a546048”error_class=kafka::deliveryfailed error=“未能将消息发送到test-250-events/0”2019-03-20 16:44:06+0100[警告]:#0禁止相同的堆栈跟踪
已从服务器连接到kafka群集:
user@server:~$telnet digital.servicebus.windows.net 9093正在尝试13.69.64.0。。。已连接到digital-dev-01.servicebus.windows.net。转义字符为“^]”。
先谢谢你

vhipe2zx

vhipe2zx1#

我们经历了完全相同的问题。在azure北欧的kubernetes集群中运行fluentd和kafka输出。
3月19日下午1点左右,多个集群停止工作。
编辑:我们找到了解决办法。基本上确保你有一个更新版本的ruby-kafka和/或fluent-kafka插件
我们通过在库伯内特的清单上看到这一点来实现这一点。
容器:-名称:fluentd图像:fluent/fluentd kubernetes-daemonset:v1.3.3-debian-kafka-1.2 command用法:[“/bin/sh”]参数:[“-c”,“cp/fluent config/*.conf/fluentd/etc/&&gem install fluent plugin detect exceptions&&gem install fluent plugin prometheus&&gem update fluent plugin kafka&&fluentd/entrypoint.sh”]

相关问题