用hdfs编写小文件

iyr7buue  于 2021-05-29  发布在  Hadoop
关注(0)|答案(1)|浏览(485)

我知道这听起来很傻,也明白hadoop不适用于小文件,但不幸的是,我收到了6000多个小文件,每个大约50kb。
每次我尝试运行“hadoop fs-put-f/path/folder\u with\u files/target/hdsf\u folder”时,在与namenode建立连接时,对随机文件中的一个总是失败。

java.net.SocketTimeoutException: 75000 millis timeout while waiting for channel to be ready for read. ch : java.nio.channels.SocketChannel

我想知道是否有更好的方法在hdfs中编写小型文件。
谢谢

yftpprvb

yftpprvb1#

建议将所有小文件合并到hadoop序列文件中,并对其进行处理。它会给你带来性能提升。

相关问题