如何激活和配置elasticsearch kafka连接接收器?

huus2vyu  于 2021-06-07  发布在  Kafka
关注(0)|答案(1)|浏览(390)

我想用赫尔姆把Kafka安置在Kubernetes星系群里。
我已经使用了合流 Helm 图表,这是相当完整的,安装Kafka。
然后我试着看看弹性Kafka连接接收器是如何配置的。有一点特别打动了我,那就是 confluent load elasticsearch-sink 命令。当容器启动时,我怎样才能重复地完成它?此外,要配置elastic,我必须设置一个属性文件。我使用configmap对吗?但是我很困惑,因为我必须改变由helm生成的yaml配置,它看起来不那么可复制。。。
有人有什么建议吗?

3b6akqbq

3b6akqbq1#

有一点特别打动了我,那就是 confluent load elasticsearch-sink 命令
这个 confluent 命令用于 localhost 仅限于开发/入门环境。因此,它不知道kubernetes(例如,您需要一个入口控制器来公开connectrestapi)。
我使用configmap对吗?
我认为那是不对的。至少不在kafka connect的操作符框架之外(如果存在)。
connect是通过json restapi配置的。
因此,也不能在启动时加载配置。它需要手动发布,然后该配置将被持久化到 CONNECT_CONFIG_STORAGE_TOPIC Kafka。
在内部, confluent load 简直就是 curl -XPOST -H 'Content-Type: application/json' -d${file} localhost:8083/connectors

相关问题