从gcp pub sub发布到prem kafka

sz81bmfz  于 2021-06-04  发布在  Kafka
关注(0)|答案(1)|浏览(589)

我需要将来自google pub/sub主题的消息发布到在我的on prem基础设施上运行的kafka。我无意中发现了这个链接。
https://docs.confluent.io/current/connect/kafka-connect-gcp-pubsub/index.html
这应该管用。想知道您是否使用过其他替代解决方案来实现这一点?

9q78igpj

9q78igpj1#

如果你需要整合 PubSub 以及 Kafka 我建议您为此创建一个脚本。在 Python 例如,我们有pubsub和kafka的图书馆
基于此,您可以创建一个大致如下所示的脚本,并在一些处理资源(如计算引擎)或内部部署服务器中运行它:

from google.cloud import pubsub_v1
from kafka import KafkaProducer

def callback(message):
     print(message.data)
     producer.send('<your-topic>', message.data)
     message.ack()

producer = KafkaProducer(bootstrap_servers='localhost:1234')  //Change it for your real parameter

subscription_name = "projects/<your-project>/subscriptions/<your-subscription>"
subscriber = pubsub_v1.SubscriberClient()

future = subscriber.subscribe(subscription_name, callback)

相关问题