当我尝试将20gb左右的文件上传到hdfs时,它们通常会上传到12-14gb左右,然后它们停止上传,我通过命令行得到一堆这样的警告
"INFO hdfs.DataStreamer: Slow ReadProcessor read fields for block BP-222805046-10.66.4.100-1587360338928:blk_1073743783_2960 took 62414ms (threshold=30000ms); ack: seqno: 226662 reply: SUCCESS downstreamAckTimeNanos: 0 flag: 0, targets:"
但是,如果我尝试上传文件5-6次,它们有时会在第4次或第5次尝试后工作。我相信如果我改变一些数据节点存储设置,我可以实现一致的上传而不会出现问题,但我不知道在hadoop配置中要修改哪些参数。谢谢!
编辑:当我通过python程序将文件放入hdfs时会发生这种情况,python程序使用子进程调用将文件放入hdfs。然而,即使我直接从命令行调用它,我仍然会遇到同样的问题。
暂无答案!
目前还没有任何答案,快来回答吧!