flink taskmanager因oom失败

hk8txs48  于 2021-06-24  发布在  Flink
关注(0)|答案(1)|浏览(550)

**结案。**此问题不可复制或由打字错误引起。它目前不接受答案。
**想改进这个问题吗?**更新问题,使其成为堆栈溢出的主题。

5个月前关门了。
改进这个问题
有一个flink的工作听Kafka的主题,所有的工作做的是听Kafka和插入的消息ElasticSearch。这项工作不断失败,其中一个任务经理也不干了。
我用的是Kubernetes的flink docker,内存为3gb。但我在taskmanager日志中看到失败。我没有使用任何特殊功能,只是听和写弹性。

Exception: java.lang.OutOfMemoryError thrown from the UncaughtExceptionHandler in thread "I/O dispatcher 2945"

Exception: java.lang.OutOfMemoryError thrown from the UncaughtExceptionHandler in thread "pool-1170-thread-1"

Exception: java.lang.OutOfMemoryError thrown from the UncaughtExceptionHandler in thread "I/O dispatcher 5441"

Exception: java.lang.OutOfMemoryError thrown from the UncaughtExceptionHandler in thread "I/O dispatcher 2467"

Exception: java.lang.OutOfMemoryError thrown from the UncaughtExceptionHandler in thread "pool-3944-thread-1"

Exception: java.lang.OutOfMemoryError thrown from the UncaughtExceptionHandler in thread "pool-2651-thread-1"
mf98qq94

mf98qq941#

@感谢arvid,我们确实仔细查看了日志,发现es正在泄漏一个连接代码问题。修复后,使用rocksdb作为后端状态,我们运行平稳,并启用了增量检查点。

相关问题