使用dataproc将google pub/sub与flink流媒体结合使用的正确方法是什么？

7lrncoxx 于 2021-06-24 发布在 Flink

关注(0)|答案(2)|浏览(536)

我正在尝试找出在dataproc上运行apache flink并使用google pub/sub作为源/接收器的正确方法。当我创建dataproc集群时，在将flink初始化操作应用到最新的映像1.4之后，将安装flink 1.6.4。
问题是flink连接器gcp pubsub只能从flink版本1.9.0开始使用。
所以我的问题是什么是正确的方式来使用所有这些在一起？我应该用最新的flink建立自己的gce形象吗？已经有了吗？

google-cloud-platform apache-flink flink-streaming google-cloud-dataproc google-cloud-pubsub

来源：https://stackoverflow.com/questions/57984834/what-is-the-proper-way-to-use-google-pub-sub-with-flink-streaming-using-dataproc

2条答案

按热度按时间

llmtgqce1#

我通过在kubernetes中运行flink1.9.0解决了这个问题。这样我就不依赖任何人，可以运行任何版本我需要的。

赞(0）回复(0）举报 2021-06-24

daupos2t2#

你已经说过了 flink-connector-gcp-pubusub 仅适用于flink 1.9.0。所以你有两个选择：
任何一个机具接头
基于flink初始化操作构建您自己的映像
我不建议实现连接器，因为它是一项复杂的任务，需要深入了解flink，而构建自己的形象应该相对容易，以flink1.6.4为例

赞(0）回复(0）举报 2021-06-24

我来回答

使用dataproc将google pub/sub与flink流媒体结合使用的正确方法是什么？

2条答案

相关问题

热门标签

最新问答