spark structured streaming的kafka writer支持将数据写入特定分区吗？在spark结构化流式文档中，没有提到不支持将数据写入特定分区。在“向Kafka写入数据”一节中，我也看不到传递“分区id”的选项如果不支持，任何未来的支持计划或不支持的原因。
ffscu2ro1#
键决定要写入哪个分区-不，不能在spark的write方法中硬编码分区值。spark允许您配置 kafka.partitioner.class ，这将允许您基于数据的键定义分区号Kafka自己的配置可以通过 DataStreamReader.option 与 kafka. 前缀，例如， stream.option("kafka.bootstrap.servers", "host:port") . 有关可能的Kafka参数，请参阅。。。kafka producer config docs用于与写入数据相关的参数。
kafka.partitioner.class
DataStreamReader.option
kafka.
stream.option("kafka.bootstrap.servers", "host:port")
1条答案
按热度按时间ffscu2ro1#
键决定要写入哪个分区-不，不能在spark的write方法中硬编码分区值。
spark允许您配置
kafka.partitioner.class，这将允许您基于数据的键定义分区号Kafka自己的配置可以通过
DataStreamReader.option与kafka.前缀，例如，stream.option("kafka.bootstrap.servers", "host:port"). 有关可能的Kafka参数，请参阅。。。kafka producer config docs用于与写入数据相关的参数。