如何指定特定大小的Kafka投票记录?

2wnc66cl  于 2021-06-08  发布在  Kafka
关注(0)|答案(2)|浏览(383)

poll 投票的方法 ConsumerRecords ,但它不能指定记录的大小,如何轮询特定大小的记录?

public ConsumerRecords<K, V> poll(long timeout) {}
uwopmtnx

uwopmtnx1#

我在用户端找到的唯一相关配置是 fetch.max.bytes 财产。医生对这处房产说了以下几点:
服务器应为获取请求返回的最大数据量。使用者分批获取记录,如果获取的第一个非空分区中的第一个记录批大于此值,则仍将返回该记录批以确保使用者可以取得进展。因此,这不是一个绝对的最大值。代理接受的最大记录批大小通过message.max.bytes(代理配置)或max.message.bytes(主题配置)定义。请注意,使用者并行执行多个获取。
您还可以使用 max.partition.fetch.bytes 财产,但我想那不是你想要的。
或者,如果你对每一张唱片的平均大小有一个估计,你可以试着用它来演奏 max.poll.records 参数。

zxlwwiss

zxlwwiss2#

Kafka实际上并不支持这一点。您也可以尝试fetch.max.bytes属性。

相关问题