上传到hdfs停止,并警告“slow readprocessor read”

wxclj1h5  于 2021-05-31  发布在  Hadoop
关注(0)|答案(0)|浏览(485)

当我尝试将20gb左右的文件上传到hdfs时,它们通常会上传到12-14gb左右,然后它们停止上传,我通过命令行得到一堆这样的警告

"INFO hdfs.DataStreamer: Slow ReadProcessor read fields for block BP-222805046-10.66.4.100-1587360338928:blk_1073743783_2960 took 62414ms (threshold=30000ms); ack: seqno: 226662 reply: SUCCESS downstreamAckTimeNanos: 0 flag: 0, targets:"

但是,如果我尝试上传文件5-6次,它们有时会在第4次或第5次尝试后工作。我相信如果我改变一些数据节点存储设置,我可以实现一致的上传而不会出现问题,但我不知道在hadoop配置中要修改哪些参数。谢谢!
编辑:当我通过python程序将文件放入hdfs时会发生这种情况,python程序使用子进程调用将文件放入hdfs。然而,即使我直接从命令行调用它,我仍然会遇到同样的问题。

暂无答案!

目前还没有任何答案,快来回答吧!

相关问题