有没有办法把kafka连接成googledataflow中的sink？我知道我们可以将cloudpubsubconnector与pub/sub和kafka一起使用，但是我不想在dataflow和kafka之间使用pub/sub。谢谢你，巴拉
rryofs0p1#
是（假设您使用的是javasdk）。参见javadoc for kafkaio中带有usabe示例的“写给Kafka”：https://github.com/apache/beam/blob/release-2.3.0/sdks/java/io/kafka/src/main/java/org/apache/beam/sdk/io/kafka/kafkaio.java#l221
mo49yndu2#
如果您正在用python编写数据流作业，那么可以使用confluents kafka客户机[https://github.com/confluentinc/confluent-kafka-python][1] 并编写自己的波束接收器/源接口。在beam中有一个编写自己的接收器/源的指南[https://beam.apache.org/documentation/sdks/python-custom-io/][1]
2条答案
按热度按时间rryofs0p1#
是（假设您使用的是javasdk）。参见javadoc for kafkaio中带有usabe示例的“写给Kafka”：https://github.com/apache/beam/blob/release-2.3.0/sdks/java/io/kafka/src/main/java/org/apache/beam/sdk/io/kafka/kafkaio.java#l221
mo49yndu2#
如果您正在用python编写数据流作业，那么可以使用confluents kafka客户机[https://github.com/confluentinc/confluent-kafka-python][1] 并编写自己的波束接收器/源接口。在beam中有一个编写自己的接收器/源的指南[https://beam.apache.org/documentation/sdks/python-custom-io/][1]