我正在使用 DataSet 应用程序编程接口。我可以使用 readTextFile() 但是这个函数一次只读取一个文件。
我想能够消费我的目录中的所有文本文件一个接一个，并处理它们在同一时间一个接一个，在同一个功能作为一个批处理作业与 DataSet api，如果可能的话。
另一种方法是实现一个循环，对多个文件执行多个作业，每个文件一个作业，而不是一个作业。但我认为这个解决方案不是最好的。
有什么建议吗？
我正在使用 DataSet 应用程序编程接口。我可以使用 readTextFile() 但是这个函数一次只读取一个文件。
我想能够消费我的目录中的所有文本文件一个接一个，并处理它们在同一时间一个接一个，在同一个功能作为一个批处理作业与 DataSet api，如果可能的话。
另一种方法是实现一个循环，对多个文件执行多个作业，每个文件一个作业，而不是一个作业。但我认为这个解决方案不是最好的。
有什么建议吗？
1条答案
按热度按时间4nkexdtk1#
如果我把文档弄对了，你可以用
ExecutionEnvironment.readTextFile(). 您可以在这里找到一个示例：单词计数批处理示例参考文献：
flink文档
Flink来源