librdkafka线程失败时未清理

xlpyo6sf  于 2021-06-06  发布在  Kafka
关注(0)|答案(1)|浏览(388)

在我的应用程序中,我创建了一个生产者和一个消费者。

conf->set("dr_cb", delivery_cb, errstr);
conf->set("event_cb", event_cb, errstr);

RdKafka::Producer::create(conf.get(), errstr)

conf->set("log_level", "0", errstr);
conf->set("group.id", group_id, errstr);
conf->set("client.id", m_kafka_client_id, errstr);
conf->set("auto.offset.reset", "earliest", errstr);
conf->set("rebalance_cb", rebalance_cb, errstr);
conf->set("statistics.interval.ms", "3000", errstr);
conf->set("event_cb", event_cb, errstr);

RdKafka::KafkaConsumer::create(conf.get(), errstr)

然后我尝试获取元数据,如下所示

err = _consumer->metadata(false, nullptr, &metadata, METADATA_TIMEOUT); 
std::unique_ptr<RdKafka::Metadata> metadata_uptr(metadata); // Handover the raw pointer to the unique_ptr now

如果由于某种原因代理通信不起作用,我得到错误消息,然后我生产者和消费者得到的删除,通过独特的ptr->析构函数。然后这个循环一直进行,直到应用程序成功地连接到代理。
我所观察到的是,我看到很多线程被创建并保留在那里。计数一度达到2000个线程。
清理Kafka的正确方法是什么?
螺纹卡在这里了


# 0  0x00007f6acc031cf2 in pthread_cond_timedwait@@GLIBC_2.3.2 () from /lib64/libpthread.so.0

# 1  0x00000000004b8e65 in cnd_timedwait_ms (cnd=cnd@entry=0xab41b8, mtx=mtx@entry=0xab4190, timeout_ms=<optimized out>) at tinycthread.c:501

# 2  0x00000000004853aa in rd_kafka_q_serve (rkq=0xab4190, timeout_ms=<optimized out>, max_cnt=max_cnt@entry=0, cb_type=cb_type@entry=RD_KAFKA_Q_CB_CALLBACK,

callback=callback@entry=0x0, opaque=opaque@entry=0x0) at rdkafka_queue.c:440

# 3  0x000000000045a43c in rd_kafka_thread_main (arg=arg@entry=0xabf760) at rdkafka.c:1227

# 4  0x00000000004b8c07 in _thrd_wrapper_function (aArg=<optimized out>) at tinycthread.c:624

# 5  0x00007f6acc02de25 in start_thread () from /lib64/libpthread.so.0

# 6  0x00007f6acaa7834d in clone () from /lib64/libc.so.6

我也试着在失败时按常规打电话,但没有任何帮助。。。

RdKafka::wait_destroyed(5000);
8yparm6h

8yparm6h1#

rdkafka::kafkaconsumer被 Package 在另一个容器中,并且“myobject\u wrapper->close()”没有被重定向到“rdkafka::kafkaconsumer::close”
在我的应用程序中解决了这个问题之后,现在一切正常。

相关问题