通过浏览api和文档，我得到的印象是hdfs不提供完全异步的写操作。在写操作返回之前，它必须等待块的最小复制（默认为1）完成。有没有什么方法可以使用hdfsapi完全异步地写呢？谢谢。
f8rj6qna1#
不，hdfsapi没有任何函数来提供异步写，因为它应该提供持久性和阻塞写。一个好主意是，如果性能是目标，在写入hdfs之前，尽可能将数据累积到最小的块大小。但是，如果机器出现故障，并且您还没有将数据写入hdfs，那么数据将丢失。
1条答案
按热度按时间f8rj6qna1#
不，hdfsapi没有任何函数来提供异步写，因为它应该提供持久性和阻塞写。一个好主意是，如果性能是目标，在写入hdfs之前，尽可能将数据累积到最小的块大小。但是，如果机器出现故障，并且您还没有将数据写入hdfs，那么数据将丢失。