我需要将来自google pub/sub主题的消息发布到在我的on prem基础设施上运行的kafka。我无意中发现了这个链接。https://docs.confluent.io/current/connect/kafka-connect-gcp-pubsub/index.html这应该管用。想知道您是否使用过其他替代解决方案来实现这一点?
9q78igpj1#
如果你需要整合 PubSub 以及 Kafka 我建议您为此创建一个脚本。在 Python 例如,我们有pubsub和kafka的图书馆基于此,您可以创建一个大致如下所示的脚本,并在一些处理资源(如计算引擎)或内部部署服务器中运行它:
PubSub
Kafka
Python
from google.cloud import pubsub_v1 from kafka import KafkaProducer def callback(message): print(message.data) producer.send('<your-topic>', message.data) message.ack() producer = KafkaProducer(bootstrap_servers='localhost:1234') //Change it for your real parameter subscription_name = "projects/<your-project>/subscriptions/<your-subscription>" subscriber = pubsub_v1.SubscriberClient() future = subscriber.subscribe(subscription_name, callback)
1条答案
按热度按时间9q78igpj1#
如果你需要整合
PubSub
以及Kafka
我建议您为此创建一个脚本。在Python
例如,我们有pubsub和kafka的图书馆基于此,您可以创建一个大致如下所示的脚本,并在一些处理资源(如计算引擎)或内部部署服务器中运行它: