kafka节点无法连接到本地环境中的kafka服务器

kknvjkwl  于 2021-06-04  发布在  Kafka
关注(0)|答案(1)|浏览(593)

我使用dockerinspect命令启动了一个kafka(版本2.2.0)docker容器。
Kafka配置是

Using ZOOKEEPER_CONNECT=172.17.0.2:2181
Using KAFKA_ADVERTISED_LISTENERS=PLAINTEXT://172.17.0.6:9092
Using KAFKA_BROKER=172.17.0.4:9092

显示网络设置

"NetworkSettings": {
            "Ports": {
                "8778/tcp": null,
                "9092/tcp": null,
                "9779/tcp": null
            },
            "Gateway": "172.17.0.1",
            "GlobalIPv6Address": "",
            "GlobalIPv6PrefixLen": 0,
            "IPAddress": "172.17.0.6",
            "IPPrefixLen": 16,
            "IPv6Gateway": "",
            "MacAddress": "02:42:ac:11:00:06"

我还查阅了Kafka容器中的主题。

./zkCli.sh
ls /brokers/topics

主题如下所示

[connect-status, dbserver1.public.dumb_table, my-connect-offsets, __consumer_offsets, my-connect-configs]

最后我启动了一个节点应用程序来连接Kafka,但失败了(https://github.com/sohu-co/kafka-node#kafkaclient)

const kafka = require('kafka-node');
const bp = require('body-parser');

try {
  const Consumer = kafka.HighLevelConsumer;
  const client = new kafka.KafkaClient({kafkaHost: '172.17.0.6:9092'});
  let consumer = new kafka.Consumer(
    client,
    [{ topic: "dbserver1.public.dumb_table", partition: 0 }],
    {
      autoCommit: true,
      fetchMaxWaitMs: 1000,
      fetchMaxBytes: 1024 * 1024,
      encoding: 'utf8',
      fromOffset: false
    }
  );
  consumer.on('ready', function () {
        console.log('consumer ready');

  });
  consumer.on('message', async function(message) {
    console.log('here');
    console.log(
      'kafka-> ',
      message.value
    );
  })
  consumer.on('error', function(err) {
    console.log('error', err);
  });
}
catch(e) {
  console.log(e);
}

如果kafkahost配置为“172.17.0.6:9092”,则抛出一个错误

{ Error: connect ENETUNREACH 172.17.0.6:9092
    at Object._errnoException (util.js:992:11)
    at _exceptionWithHostPort (util.js:1014:20)
    at TCPConnectWrap.afterConnect [as oncomplete] (net.js:1186:14)
  code: 'ENETUNREACH',
  errno: 'ENETUNREACH',
  syscall: 'connect',
  address: '172.17.0.6',
  port: 9092 }

如果kafkahost配置为'localhost:9092,将抛出一个错误

{ TimeoutError: Request timed out after 30000ms
at new TimeoutError (/Users/xisizhe/Documents/projects/game/server/node_modules/kafka-node/lib/errors/TimeoutError.js:6:9)
at Timeout.setTimeout [as _onTimeout] (/Users/xisizhe/Documents/projects/game/server/node_modules/kafka-node/lib/kafkaClient.js:491:14)
at ontimeout (timers.js:498:11)
at tryOnTimeout (timers.js:323:5)
at Timer.listOnTimeout (timers.js:290:5) message: 'Request timed out after 30000ms' }
7kjnsjlb

7kjnsjlb1#

如果kafkahost配置为“172.17.0.6:9092”,则抛出一个错误
你的节点应用程序也在docker中运行吗?如果是这样的话,你就不会看到这个错误。
看起来是你干的 docker inspect ,然后从中复制了一些IP,我认为在我遇到的任何debezium/docker+kafka教程中都不需要这些IP。
你想要主机ip(你的mac);在docker和它所在的vm网络之外(您的主机无法将请求路由到该子网)。
e、 g.在我的mac电脑上,我随机检查一个容器(刚好是Kafka)

docker inspect ee708cf11010 | grep IPAddress
        "SecondaryIPAddresses": null,
        "IPAddress": "",
                "IPAddress": "172.18.0.3",
                "IPAddress": "172.20.0.3",

我无法连接到这些

nc -vz 172.20.0.3 9092

# ... hangs

但是我可以连接到暴露的端口

nc -vz localhost 9092
found 0 associations
found 1 connections:
     1: flags=82<CONNECTED,PREFERRED>
    outif lo0
    src ::1 port 51180
    dst ::1 port 9092
    rank info not available
    TCP aux info available

Connection to localhost port 9092 [tcp/XmlIpcRegSvc] succeeded!

或者
将我的主机名用于 nc -vz $(hostname -f) 9092 我的局域网ip nc -vz 192.168.1.105 9092 正如debezium教程所说, ADVERTISED_HOST_NAME 必须是主机的主机名或外部ip。主机名是最简单的,您可以像这样将其传递给docker。

docker run -it --name kafka -p 9092:9092 -e ADVERTISED_HOST_NAME=$(hostname -f) --link zookeeper:zookeeper debezium/kafka

您的节点代码仍然可以使用 localhost:9092 ,但传递正确的ip/主机名更符合逻辑。
旁白:您不需要使用debezium/kafka容器来使用实际的debezium连接器,因为它刚刚启动kafka。所以,下面是我的另一个答案,关于如何在docker中正确配置kafka,以便在docker和主机上运行生产者/消费者应用程序
从本地计算机连接到Kafka在docker中运行

相关问题