我想用赫尔姆把Kafka安置在Kubernetes星系群里。
我已经使用了合流 Helm 图表,这是相当完整的,安装Kafka。
然后我试着看看弹性Kafka连接接收器是如何配置的。有一点特别打动了我,那就是 confluent load elasticsearch-sink
命令。当容器启动时,我怎样才能重复地完成它?此外,要配置elastic,我必须设置一个属性文件。我使用configmap对吗?但是我很困惑,因为我必须改变由helm生成的yaml配置,它看起来不那么可复制。。。
有人有什么建议吗?
1条答案
按热度按时间3b6akqbq1#
有一点特别打动了我,那就是
confluent load elasticsearch-sink
命令这个
confluent
命令用于localhost
仅限于开发/入门环境。因此,它不知道kubernetes(例如,您需要一个入口控制器来公开connectrestapi)。我使用configmap对吗?
我认为那是不对的。至少不在kafka connect的操作符框架之外(如果存在)。
connect是通过json restapi配置的。
因此,也不能在启动时加载配置。它需要手动发布,然后该配置将被持久化到
CONNECT_CONFIG_STORAGE_TOPIC
Kafka。在内部,
confluent load
简直就是curl -XPOST -H 'Content-Type: application/json' -d${file} localhost:8083/connectors