flume在更改到新的一天目录后将.tmp文件留在hdfs中

oxalkeyp  于 2021-06-04  发布在  Flume
关注(0)|答案(1)|浏览(356)

我用的是Flume1.7.0和hdfsFlume。我将flume配置为将数据放入hdfs中的date目录中,以便在新的一天到来时自动更改目录。问题是,我将flume设置为按文件大小滚动(240mb),但是flume每天都会在目录更改时离开.tmp文件。flume似乎在不关闭未完成的文件(小于240mb)的情况下更改为新的一天的目录。
例如。如果我启动3个Flume探员。当flume代理更改为新目录20180411时,3.tmp文件将保留在目录20180410中。
有没有办法让flume在将.tmp文件更改到新目录之前关闭它?谢谢大家帮我。

n53p2ov0

n53p2ov01#

您可以添加 hdfs.idleTimeout 如果没有新的事件添加到文件中,那么文件将被关闭
关闭非活动文件的超时时间(0=禁用自动关闭空闲文件)
注意数字是秒。最起码要等几分钟。

相关问题