在hadoop中备份源数据文件

juud5qan  于 2021-06-03  发布在  Hadoop
关注(0)|答案(1)|浏览(390)

我期望每周一次转换成avro的100个xml、excels、分隔格式的数据文件。您是否建议在文件夹备份或本地文件系统(不是hdfs)下的文件夹中以hdfs的原始格式对源文件进行备份。
这些文件来自ftp。

r6hnlfcb

r6hnlfcb1#

一旦转换过程成功,那么由于hdfs是avro文件的宿主,那么它将负责备份,假设您根据需要设置复制因子。此时,将源文件保存在hdfs中是不必要的。此时,磁带备份可能是最佳选择。

相关问题