ftp文件夹有大约4000-5k个文件,我不想把它们传递到bufferinput/output组件中,然后使用tmap函数对它们进行排序。相反,我更希望在不影响ftp文件夹中文件数量的情况下,我可以直接找到上一天(24小时时间段)的文件并使用ftpget吗?我不想在bufferedreader中存储/读取所有文件,并通过mtime\u desc或其他ftpfileproperties方法进行排序/排列。相反,直接获取和检索前一天的最新文件会更快更有效?
e5nszbig1#
我不知道talend,但是:标准的ftp只能检索目录中的所有文件。无论您使用何种语言/库/框架,都不可能进行优化或筛选。一些ftp服务器支持非标准的 LIST -t 命令检索按时间戳排序的列表。当你使用它的时候,一旦你得到了你需要的文件,你可能会中断列表的下载。另请参见使用apache ftpclient使ftp服务器返回按时间戳列出的文件。
LIST -t
1条答案
按热度按时间e5nszbig1#
我不知道talend,但是:标准的ftp只能检索目录中的所有文件。无论您使用何种语言/库/框架,都不可能进行优化或筛选。
一些ftp服务器支持非标准的
LIST -t
命令检索按时间戳排序的列表。当你使用它的时候,一旦你得到了你需要的文件,你可能会中断列表的下载。另请参见使用apache ftpclient使ftp服务器返回按时间戳列出的文件。