flume ng filechannel非常慢

xtupzzrd  于 2021-06-03  发布在  Hadoop
关注(0)|答案(1)|浏览(724)

我一直在用flume-ng(flume-ng-1.2.0+24.81-1~lucid)进行实验,并比较了内存通道和文件通道的性能。
在我的测试系统中,每个事件的大小都是1kb,使用我当前的配置,我可以使用内存通道处理大约30000个eps。然而,当使用文件通道时,我只能处理大约1600个eps。
平均而言,我希望在我的生产系统上平均接收2500个eps,并且我希望使用文件通道在接收失败的情况下提供大约1个小时的事件缓冲(我使用的是一个hdfs接收,与hadoop集群的连接为1gbps)。
这是我的文件通道配置:

agent.channels.c1.checkpointDir = ~/.flume/file-channel/checkpoint
agent.channels.c1.dataDirs = ~/.flume/file-channel/data
agent.channels.c1.transactionCapacity = 13107200
agent.channels.c1.checkpointInterval = 30000
agent.channels.c1.maxFileSize = 9216000000
agent.channels.c1.minimumRequiredSpace = 524288000
agent.channels.c1.capacity = 9000000
agent.channels.c1.keep-alive = 3
agent.channels.c1.write-timeout = 3
agent.channels.c1.checkpoint-timeout = 600
agent.channels.c1.use-log-replay-v1 = FALSE
agent.channels.c1.use-fast-replay = FALSE

hdfs接收器的批处理大小已设置为5000。
有人能就如何提高文件通道的性能提出建议吗?
谢谢

vmpqdwk3

vmpqdwk31#

版本1.2.0非常奇怪。当前版本是1.3.1。
也就是说,trunk是1.4.0-snapshot,~may~将在6月底发布。我相信filechannel在那段时间有一些更新,所以您可能希望使用它的构建重新测试( mvn install -Dmaven.test.skip=true 是你的朋友)。
其次,您考虑过将checkpointdir和datadir指向它们自己的磁盘吗?

相关问题