javaspark如何将javapairdd< hashset< string>、hashmap< string、double>>保存到文件中?

lh80um4z  于 2021-05-31  发布在  Hadoop
关注(0)|答案(1)|浏览(466)

我知道了” JavaPairRDD<HashSet<String>, HashMap<String, Double>> rdd经过一些复杂的聚合后,想要将结果保存到文件中。我相信 saveAsHadoopFile 是一个很好的api,但是在为 saveAsHadoopFile(path, keyClass, valueClass, outputFormatClass, CompressionCodec) . 有人能帮忙吗?

pieyvz9o

pieyvz9o1#

您可以使用以下函数,稍后再将其解析为所需的结果。

rdd.saveAsTextFile ("hdfs:///complete_path_to_hdfs_file/");

但如果您想使用saveashadoopfile api,那么可以使用以下方法。

saveAsHadoopFile(complete_path_to_file, HashSet.class, HashMap.class, TextOutputFormat.class)

你也可以使用 HadoopOutputFormat.class 作为最后一个参数
有关更多信息,您可以参考这个链接hadoop文件

相关问题