java—Hadoop2在转换中是原子的吗

yhqotfr8  于 2021-05-30  发布在  Hadoop
关注(0)|答案(1)|浏览(375)

我读过很多博客说hadoop在wards上的版本2中是原子的,
但当我做实验时,它清楚地表明它不是原子性质的。
场景1:
我使用tomcat在hdfs中上传了1gb的数据,但是当我强行停止hadoop的时候,数据的转换是不正确的,因为旧数据(数据的一半)仍然存在于其中。
场景2:
当我将同一个1gb文件上传到hdfs的另一个位置时,我强制停止了tomcat,但是数据事务仍然不正确,因为旧数据(数据的一半)仍然存在于其中。
谁能告诉我哪里出了问题??我需要做不同的测试。
请告诉我hadoop是否只通过map reduce支持原子转换?
谢谢,哈里

crcmnpdw

crcmnpdw1#

hadoop的hdfs不是事务性的。您需要注意确保自己的数据是完整的

相关问题