我正在写一批基于https://github.com/dataartisans/flink-training-exercises/blob/master/src/main/java/com/dataartisans/flinktraining/exercises/dataset_java/mail_count/mailcount.java
在下面的代码中,输入必须是.csv,否则会出错。我尝试了一个包含csv的.zip文件。在mailcount.java中,我看到readcsvfile接受.gz文件作为输入,工作正常。你能帮忙吗?
env.readcsvfile(input).ignorefirstline().includefields(fields).types(string.class,string.class);
谢谢阿鲁纳
1条答案
按热度按时间xlpyo6sf1#
如果压缩文件有适当的扩展名,flink支持从文件盒中读取压缩文件。但是,并非所有类型的压缩都受支持。您可以在[1]中找到支持的压缩类型列表。
例如,.gz是受支持的,这就是为什么这个例子可以工作,但是.zip不是,所以你会得到一个错误。
谨致问候,康斯坦丁
[1] https://ci.apache.org/projects/flink/flink-docs-release-1.2/dev/batch/index.html#read-压缩文件