我有一个包含许多小文件（KB）和一些中等文件（1MB到5MB）以及一些大文件（大于50MB）的源代码现在可以选择将它们放入hdfs（合并文件）或hbase（作为mob）。就接收性能和向最终用户显示文件而言，建议使用哪种方法？
shstlldc1#
你可以把这些文件放到hdfs里。但在放入hdfs之前，您可以通过运行带有identitymapper和identityreducer的mr作业来合并文件，方法是根据文件大小和块大小设置缩减器的数量，或者使用combinefileinputformat对其进行处理并将其放入hdfs中。
1条答案
按热度按时间shstlldc1#
你可以把这些文件放到hdfs里。但在放入hdfs之前，您可以通过运行带有identitymapper和identityreducer的mr作业来合并文件，方法是根据文件大小和块大小设置缩减器的数量，或者使用combinefileinputformat对其进行处理并将其放入hdfs中。