javaspark如何将javapairdd< hashset< string>、hashmap< string、double>>保存到文件中？

lh80um4z 于 2021-05-31 发布在 Hadoop

关注(0)|答案(1)|浏览(467)

我知道了” JavaPairRDD<HashSet<String>, HashMap<String, Double>> rdd经过一些复杂的聚合后，想要将结果保存到文件中。我相信 saveAsHadoopFile 是一个很好的api，但是在为 saveAsHadoopFile(path, keyClass, valueClass, outputFormatClass, CompressionCodec) . 有人能帮忙吗？

Java hadoop apache-spark java-pair-rdd

来源：https://stackoverflow.com/questions/50055414/java-spark-how-to-save-a-javapairrddhashsetstring-hashmapstring-double-t

1条答案

按热度按时间

pieyvz9o1#

您可以使用以下函数，稍后再将其解析为所需的结果。

rdd.saveAsTextFile ("hdfs:///complete_path_to_hdfs_file/");

但如果您想使用saveashadoopfile api，那么可以使用以下方法。

saveAsHadoopFile(complete_path_to_file, HashSet.class, HashMap.class, TextOutputFormat.class)

你也可以使用 HadoopOutputFormat.class 作为最后一个参数
有关更多信息，您可以参考这个链接hadoop文件

赞(0）回复(0）举报 2021-06-01

我来回答

javaspark如何将javapairdd< hashset< string>、hashmap< string、double>>保存到文件中？

1条答案

相关问题

热门标签

最新问答