我想获取此处给定的某个接收器连接器的接收器记录活动计数的值https://docs.confluent.io/current/connect/managing/monitoring.html#sink-任务度量
我在docker桌面上运行的所有容器都使用docker compose file docker ps docker ps
我使用了confluent metrics reporter来完成任务。
也指https://docs.confluent.io/5.4.0/kafka/metrics-reporter.html 以及https://neo4j.com/docs/labs/neo4j-streams/current/examples/#_confluent_with_docker 我将env变量添加到kafka容器中,如下所示
kafka-service:
image: confluentinc/cp-enterprise-kafka:5.4.0
container_name: kafka
depends_on:
- zookeeper
links:
- zookeeper
ports:
- 9092:9092
expose:
- "29092"
environment:
METRIC_REPORTERS: io.confluent.metrics.reporter.ConfluentMetricsReporter
CONFLUENT_METRICS_REPORTER_ZOOKEEPER_CONNECT: zookeeper:2181
CONFLUENT_METRICS_REPORTER_TOPIC_REPLICAS: 1
CONFLUENT_METRICS_REPORTER_TOPIC_CREATE: 'true'
CONFLUENT_METRICS_ENABLE: 'true'
CONFLUENT_METRICS_REPORTER_BOOTSTRAP_SERVERS: http://kafka-service:29092
KAFKA_BROKER_ID: 1
KAFKA_ZOOKEEPER_CONNECT: zookeeper:2181
KAFKA_LISTENER_SECURITY_PROTOCOL_MAP: PLAINTEXT:PLAINTEXT,PLAINTEXT_HOST:PLAINTEXT
KAFKA_INTER_BROKER_LISTENER_NAME: PLAINTEXT
KAFKA_ADVERTISED_LISTENERS: PLAINTEXT://kafka-service:29092,PLAINTEXT_HOST://localhost:9092
KAFKA_AUTO_CREATE_TOPICS_ENABLE: "true"
KAFKA_OFFSETS_TOPIC_REPLICATION_FACTOR: 1
KAFKA_TRANSACTION_STATE_LOG_MIN_ISR: 1
KAFKA_TRANSACTION_STATE_LOG_REPLICATION_FACTOR: 1
KAFKA_GROUP_INITIAL_REBALANCE_DELAY_MS: 100
command:
- bash
- -c
- |
echo '127.0.0.1 kafka-service' >> /etc/hosts
/etc/confluent/docker/run
sleep infinity
在Kafka的日志里我得到了信息
信息已创建metrics reporter主题\u confluent-metrics(io.confluent.metrics.reporter.confluentmetricsreporter)
我不知道如何用java阅读这个主题。本主题是否也会有所需的指标?与Flume接头有关?
第三页https://docs.confluent.io/current/connect/managing/monitoring.html#sink-给出了任务度量。。我也不知道如何使用它。如果它也需要jmx的话,我试着把kafkaïjmxïhostname=localhost和kafkaïjmxïport:9010放在后面https://rmoff.net/2018/09/17/accessing-kafka-docker-containers-jmx-from-host/ 但我不知道如何继续前进。
1条答案
按热度按时间vltsax251#
据我所知,
ConfluentMetricsReporter
是专有的二进制格式,如果没有作为control center一部分的反序列化库,则无法读取。我建议使用prometheus jmx exporter+grafana在kafka消费者应用程序或控制中心之外可视化这些数据(confluent helm charts已经提供了这样的设置)
旁注:请不要编辑任何
/etc/hosts
文件夹