hdfs提供异步写入吗?

lndjwyie  于 2021-06-02  发布在  Hadoop
关注(0)|答案(1)|浏览(415)

通过浏览api和文档,我得到的印象是hdfs不提供完全异步的写操作。在写操作返回之前,它必须等待块的最小复制(默认为1)完成。有没有什么方法可以使用hdfsapi完全异步地写呢?谢谢。

f8rj6qna

f8rj6qna1#

不,hdfsapi没有任何函数来提供异步写,因为它应该提供持久性和阻塞写。一个好主意是,如果性能是目标,在写入hdfs之前,尽可能将数据累积到最小的块大小。但是,如果机器出现故障,并且您还没有将数据写入hdfs,那么数据将丢失。

相关问题