logstash kafka输入无法连接

uurity8g 于 2021-06-06 发布在 Kafka

关注(0)|答案(2)|浏览(843)

我正在尝试构建一个基于本教程的管道，其中kafka使用文件源连接器读取文件。使用这些用于弹性堆栈的docker映像，我想将logstash注册为“快速启动数据”主题的使用者，但目前我失败了。
这是我的logstash.conf文件：

input {
  kafka {
    bootstrap_servers => 'localhost:9092'
    topics => 'quickstart-data'
  }
}

output {
  elasticsearch {
    hosts => [ 'elasticsearch']
    user => 'elastic'
    password => 'changeme'
  }
  stdout {}
}

与elasticsearch的连接之所以有效，是因为我用心跳输入测试了它。我得到的消息错误如下：无法建立到节点-1的连接。代理可能不可用。放弃发送元数据请求，因为没有可用的节点
有什么想法吗？

apache-kafka logstash docker

来源：https://stackoverflow.com/questions/50018611/logstash-kafka-input-cannot-connect

2条答案

按热度按时间

zz2j4svz1#

也许有更好的方法，但我如何纠正这个问题：
将我的zookeeper和kafka图像更改为合流图像

zookeeper:
    image: confluentinc/cp-zookeeper:latest
    ports: 
      - "2181:2181"
    environment: 
      ZOOKEEPER_CLIENT_PORT: 2181
      ZOOKEEPER_TICK_TIME: 2000
    networks: 
      - stack
  kafka:
    image: confluentinc/cp-kafka:latest
    ports:
      - "9092:9092"
    environment:
      KAFKA_ZOOKEEPER_CONNECT: zookeeper:2181
      KAFKA_ADVERTISED_LISTENERS: PLAINTEXT://kafka:29092,PLAINTEXT_HOST://localhost:9092
      KAFKA_LISTENER_SECURITY_PROTOCOL_MAP: PLAINTEXT:PLAINTEXT,PLAINTEXT_HOST:PLAINTEXT
      KAFKA_INTER_BROKER_LISTENER_NAME: PLAINTEXT
      KAFKA_OFFSETS_TOPIC_REPLICATION_FACTOR: 1
    depends_on: 
      - zookeeper
    networks: 
      - stack

日志存储配置（请注意端口是2902）：

input {
    stdin{}
    kafka {
        id => "my_kafka_1"
        bootstrap_servers => "kafka:29092"
        topics => "test"
    }
}

赞(0）回复(0）举报 2021-06-07

unhi4e5o2#

我建议您保持简单，并使用kafka connect将数据登陆elasticsearch：https://docs.confluent.io/current/connect/connect-elasticsearch/docs/elasticsearch_connector.html#quick-开始

赞(0）回复(0）举报 2021-06-07

我来回答

logstash kafka输入无法连接

2条答案

相关问题

热门标签

最新问答