我使用spring xd并创建了以下流:
stream create --name test --definition "time | hdfs --rollover=1B --directory=/xd/test --fileName=test --overwrite=true" --deploy
流生成许多文件。每个文件名都包含名称和附加编号,例如test-0.txt、test-1.txt、test-2.txt等。
因为我使用springxd和hadoop是出于教育目的,所以我想节省硬盘的可用空间。所以,我想覆盖数据。是否可以从文件名中删除上述编号?
1条答案
按热度按时间4uqofj5v1#
滚动大小1b太小,这会堆积正在创建的文件的数量。可以根据处理的数据设置为使用最佳大小,以控制创建的文件数。
有关控制属性的更多选项,请参见此处