如何在ApacheFlink中使用bucketingsink写入orc文件?

tyg4sfes  于 2021-06-25  发布在  Flink
关注(0)|答案(1)|浏览(515)

我正在开发一个flink流媒体程序,它可以读取Kafka的消息,并将这些消息转储到AWSS3上的orc文件中。我发现没有关于flink's bucketingsink和orc file writer集成的文档。而且没有这样的orc文件编写器实现可以用在bucketingsink中。
我被困在这里了,有什么想法吗?

eoxn13cs

eoxn13cs1#

我同意,a BucketingSink orc文件的编写器将是一个很好的特性。然而,它还没有被贡献给Flink。你必须自己实现这样一个作家。
我相信flink社区会帮助设计和评论这个作家,如果你考虑把它贡献给flink的话。

相关问题