java—在talend中有没有一种方法可以找到过去24小时或1天内的文件,而不必从ftp中读取整个文件列表

nr7wwzry  于 2021-07-06  发布在  Java
关注(0)|答案(1)|浏览(315)

ftp文件夹有大约4000-5k个文件,我不想把它们传递到bufferinput/output组件中,然后使用tmap函数对它们进行排序。相反,我更希望在不影响ftp文件夹中文件数量的情况下,我可以直接找到上一天(24小时时间段)的文件并使用ftpget吗?
我不想在bufferedreader中存储/读取所有文件,并通过mtime\u desc或其他ftpfileproperties方法进行排序/排列。相反,直接获取和检索前一天的最新文件会更快更有效?

e5nszbig

e5nszbig1#

我不知道talend,但是:标准的ftp只能检索目录中的所有文件。无论您使用何种语言/库/框架,都不可能进行优化或筛选。
一些ftp服务器支持非标准的 LIST -t 命令检索按时间戳排序的列表。当你使用它的时候,一旦你得到了你需要的文件,你可能会中断列表的下载。另请参见使用apache ftpclient使ftp服务器返回按时间戳列出的文件。

相关问题