请向我建议如何将输出文件格式（part-r-00000）（默认文件格式）更新为另一种文件格式，如map reduce程序中的csv或txt文件格式。
f0brbegy1#
一种方法是使用hadoop的put命令将part-r-00000文件复制到xyz.txt文件。如hdfs dfs-将part-r-00000放入xyz.txt
esbemjvw2#
你可以这样做：
hdfs dfs -cat /path/in/hdfs/part* |hdfs dfs -put - /chosen/path/in/hdfs/name_of_file.txt
或者
hdfs dfs -cat /path/in/hdfs/part* |hdfs dfs -put - chosen/path/in/hdfs/name_of_file.csv
另一种方法是 -getmerge 哪一份是本地的但你需要 -copyFromLocal 回到 hdfs 但它用于更改文件格式：
-getmerge
-copyFromLocal
hdfs
hdfs dfs -getmerge /path/in/hdfs/part* /path/in/local/file_name.format hdfs dfs -copyFromLocal /path/in/local/file_name.format /path/in/hdfs/archive/
2条答案
按热度按时间f0brbegy1#
一种方法是使用hadoop的put命令将part-r-00000文件复制到xyz.txt文件。如hdfs dfs-将part-r-00000放入xyz.txt
esbemjvw2#
你可以这样做：
或者
另一种方法是
-getmerge哪一份是本地的但你需要-copyFromLocal回到hdfs但它用于更改文件格式：