我没有与Java语言的兼容性，但我想使用Kafka连接集成.我正在寻找解决方案来 Package Python代码使用Kafka连接插件和使用它在Kafka连接集群.首先，我想弄清楚它是可能的，什么障碍可能是在旅途中.
我探索了一些hello-world Kafka插件的例子，并解释了插件结构的主要概念，它启动单独的线程来做一些事情。我认为sinc连接器可能会实现为python脚本，通过java线程调用（像常规的系统调用）提供参数与按摩。什么java库我应该使用它？源连接器应该类似的工作，但它需要捕捉系统调用的输出，我认为它可能会像在气流xcoms实现（解析输出的最后一行为json字符串），我也没有找到正确的方法，你能给点建议吗？我脑海中还有一个问题是关于如何从java线程管理python的vienvs？或者你知道已经实现了Kafka connect插件用于系统调用？
2条答案
按热度按时间xyhw6mcr1#
Kafka Connect具有插件架构，您必须配置插件路径作为Kafka配置的一部分。它只会从插件路径加载Java类。有多个Kafka connect插件可用，您可以根据集成的需要重用它们。您不需要总是构建自己的连接器。
Python不是开发自定义Kafka connect插件的支持语言。
juzqafwq2#
如果你想使用Python，那么就这样做。即使用Airflow来消费一些主题，然后生成另一个主题。或者，使用Faust / Fluvii Python框架等解决方案，或者研究PySpark，PyFlink，Beam等解决方案。
Kafka Connect只是其中一个工具。不幸的是，它需要Java。这并不妨碍您在连接器读取任何数据之前以其他方式“预处理”数据。