我期望每周一次转换成avro的100个xml、excels、分隔格式的数据文件。您是否建议在文件夹备份或本地文件系统(不是hdfs)下的文件夹中以hdfs的原始格式对源文件进行备份。这些文件来自ftp。
r6hnlfcb1#
一旦转换过程成功,那么由于hdfs是avro文件的宿主,那么它将负责备份,假设您根据需要设置复制因子。此时,将源文件保存在hdfs中是不必要的。此时,磁带备份可能是最佳选择。
1条答案
按热度按时间r6hnlfcb1#
一旦转换过程成功,那么由于hdfs是avro文件的宿主,那么它将负责备份,假设您根据需要设置复制因子。此时,将源文件保存在hdfs中是不必要的。此时,磁带备份可能是最佳选择。