我用的是Flume1.7.0和hdfsFlume。我将flume配置为将数据放入hdfs中的date目录中,以便在新的一天到来时自动更改目录。问题是,我将flume设置为按文件大小滚动(240mb),但是flume每天都会在目录更改时离开.tmp文件。flume似乎在不关闭未完成的文件(小于240mb)的情况下更改为新的一天的目录。
例如。如果我启动3个Flume探员。当flume代理更改为新目录20180411时,3.tmp文件将保留在目录20180410中。
有没有办法让flume在将.tmp文件更改到新目录之前关闭它?谢谢大家帮我。
1条答案
按热度按时间n53p2ov01#
您可以添加
hdfs.idleTimeout
如果没有新的事件添加到文件中,那么文件将被关闭关闭非活动文件的超时时间(0=禁用自动关闭空闲文件)
注意数字是秒。最起码要等几分钟。