如何复制parquet文件并覆盖hdfs上的旧文件

nqwrtyyt 于 2021-05-29 发布在 Spark

关注(0)|答案(1)|浏览(430)

我的问题是，假设hdfs上有两个parquet文件：file1.parquet和file2.parquet位于不同的路径中，我想复制file1.parquet来替换file2.parquet。
我用了命令 hdfs dfs -cp -f /path1/file1.parquet /path2/file2.parqet ，没有抛出错误，但file2.parquet根本没有更改。我必须先删除file2.parquet，然后复制file1.parquet。
你知道吗？谢谢

hdfs apache-spark parquet

来源：https://stackoverflow.com/questions/62183197/how-to-copy-parquet-file-and-overwrite-the-old-one-on-hdfs

1条答案

按热度按时间

ddarikpa1#

检查以下命令。

hdfs dfs -cp -f /path1/file1.parquet /path2/file2.parqet // Overwitten file1 content in file2 content.
hdfs dfs -mv /path2/file2.parquet /path2/file1.parqet // For rename file from file2.parqet to file1.parqet

赞(0）回复(0）举报 2021-05-29

我来回答

如何复制parquet文件并覆盖hdfs上的旧文件

1条答案

相关问题

热门标签

最新问答