Flink死了;directr缓冲区内存不足

9wbgstp7  于 2021-06-24  发布在  Flink
关注(0)|答案(1)|浏览(629)

部署flink时,我收到以下错误消息:
org.apache.flink.runtime.io.network.netty.exception.localtransportexception:java.lang.outofmemoryerror:org.apache.flink.runtime.io.netty.partitionrequestclienthandler.exceptioncaught(partitionrequestclienthandler)处的直接缓冲区内存。java:153)在io.netty.channel.abstractchannelhandlercontext.invokeeExceptionCapture(abstractchannelhandlercontext。java:246)在io.netty.channel.abstractchannelhandlercontext.fireexceptioncaught(abstractchannelhandlercontext。java:224)在io.netty.channel.channelinboundhandleradapter.exceptioncaught(channelinboundhandleradapter。java:131)
原因:io.netty.handler.codec.decoderexception:java.lang.outofmemoryerror:io.netty.handler.codec.bytetomessagedecoder.channelread(bytetomessagedecoder)处的直接缓冲区内存。java:234)在io.netty.channel.abstractchannelhandlercontext.invokechannelread(abstractchannelhandlercontext。java:308) ... 9个以上
原因:java.lang.outofmemoryerror:java.nio.bits.reservememory(bits)处的直接缓冲区内存。java:658)在java.nio.directbytebuffer。java:123)位于java.nio.bytebuffer.allocatedirect(bytebuffer。java:311)
我在flink conf文件中设置了'taskmanager.network.numberofbuffers:120000',但它不起作用。
taskmanager数量:50,每个taskmanager内存:16gb,每个taskmanager内核:16,每个tasmnager插槽数量:8
对于我运行的作业,我使用的并行性为25,原始数据文件约为300gb,并且有许多连接操作,我猜,这需要大量的网络通信。
如果你知道这里发生了什么,请告诉我

66bbxpm5

66bbxpm51#

你用的是哪个版本的flink?Flink0.10.0和0.10.1在升级netty版本时出现问题。这个问题在三周前被修复,现在还没有发布。
它固定在主分支(发布为1.0-snapshot)或0.10分支中。

相关问题