apache storm:最大元组大小

dwthyt8l  于 2021-06-24  发布在  Storm
关注(0)|答案(1)|浏览(424)

apache storm可以处理的最大元组大小是多少(如果有的话)?
我在官方的storm文档中找不到任何关于这个的信息,这让我觉得没有限制(当然除了堆大小)。在storm用户邮件列表中,我发现一个线程询问此问题,但结果发现用户的错误是由于序列化问题造成的。
我的拓扑需要处理数兆字节的元组并将它们发送给Kafka。我目前正在达到Kafka的1mb限制,但在工作之前,我想知道是否有任何限制在风暴的一方。

dddzy1tm

dddzy1tm1#

我不相信有限制。storm使用java序列化(不建议用于生产工作负载,但对原型设计很有用)或kryo在工人之间发送元组。

相关问题