我使用dockerinspect命令启动了一个kafka(版本2.2.0)docker容器。
Kafka配置是
Using ZOOKEEPER_CONNECT=172.17.0.2:2181
Using KAFKA_ADVERTISED_LISTENERS=PLAINTEXT://172.17.0.6:9092
Using KAFKA_BROKER=172.17.0.4:9092
显示网络设置
"NetworkSettings": {
"Ports": {
"8778/tcp": null,
"9092/tcp": null,
"9779/tcp": null
},
"Gateway": "172.17.0.1",
"GlobalIPv6Address": "",
"GlobalIPv6PrefixLen": 0,
"IPAddress": "172.17.0.6",
"IPPrefixLen": 16,
"IPv6Gateway": "",
"MacAddress": "02:42:ac:11:00:06"
我还查阅了Kafka容器中的主题。
./zkCli.sh
ls /brokers/topics
主题如下所示
[connect-status, dbserver1.public.dumb_table, my-connect-offsets, __consumer_offsets, my-connect-configs]
最后我启动了一个节点应用程序来连接Kafka,但失败了(https://github.com/sohu-co/kafka-node#kafkaclient)
const kafka = require('kafka-node');
const bp = require('body-parser');
try {
const Consumer = kafka.HighLevelConsumer;
const client = new kafka.KafkaClient({kafkaHost: '172.17.0.6:9092'});
let consumer = new kafka.Consumer(
client,
[{ topic: "dbserver1.public.dumb_table", partition: 0 }],
{
autoCommit: true,
fetchMaxWaitMs: 1000,
fetchMaxBytes: 1024 * 1024,
encoding: 'utf8',
fromOffset: false
}
);
consumer.on('ready', function () {
console.log('consumer ready');
});
consumer.on('message', async function(message) {
console.log('here');
console.log(
'kafka-> ',
message.value
);
})
consumer.on('error', function(err) {
console.log('error', err);
});
}
catch(e) {
console.log(e);
}
如果kafkahost配置为“172.17.0.6:9092”,则抛出一个错误
{ Error: connect ENETUNREACH 172.17.0.6:9092
at Object._errnoException (util.js:992:11)
at _exceptionWithHostPort (util.js:1014:20)
at TCPConnectWrap.afterConnect [as oncomplete] (net.js:1186:14)
code: 'ENETUNREACH',
errno: 'ENETUNREACH',
syscall: 'connect',
address: '172.17.0.6',
port: 9092 }
如果kafkahost配置为'localhost:9092,将抛出一个错误
{ TimeoutError: Request timed out after 30000ms
at new TimeoutError (/Users/xisizhe/Documents/projects/game/server/node_modules/kafka-node/lib/errors/TimeoutError.js:6:9)
at Timeout.setTimeout [as _onTimeout] (/Users/xisizhe/Documents/projects/game/server/node_modules/kafka-node/lib/kafkaClient.js:491:14)
at ontimeout (timers.js:498:11)
at tryOnTimeout (timers.js:323:5)
at Timer.listOnTimeout (timers.js:290:5) message: 'Request timed out after 30000ms' }
1条答案
按热度按时间7kjnsjlb1#
如果kafkahost配置为“172.17.0.6:9092”,则抛出一个错误
你的节点应用程序也在docker中运行吗?如果是这样的话,你就不会看到这个错误。
看起来是你干的
docker inspect
,然后从中复制了一些IP,我认为在我遇到的任何debezium/docker+kafka教程中都不需要这些IP。你想要主机ip(你的mac);在docker和它所在的vm网络之外(您的主机无法将请求路由到该子网)。
e、 g.在我的mac电脑上,我随机检查一个容器(刚好是Kafka)
我无法连接到这些
但是我可以连接到暴露的端口
或者
将我的主机名用于
nc -vz $(hostname -f) 9092
我的局域网ipnc -vz 192.168.1.105 9092
正如debezium教程所说,ADVERTISED_HOST_NAME
必须是主机的主机名或外部ip。主机名是最简单的,您可以像这样将其传递给docker。您的节点代码仍然可以使用
localhost:9092
,但传递正确的ip/主机名更符合逻辑。旁白:您不需要使用debezium/kafka容器来使用实际的debezium连接器,因为它刚刚启动kafka。所以,下面是我的另一个答案,关于如何在docker中正确配置kafka,以便在docker和主机上运行生产者/消费者应用程序
从本地计算机连接到Kafka在docker中运行