我只是想知道 hdfs dfs copyToLocal <file1> <file2> 是测试hdfs读缓存配置是否正确的好方法。在我的实验中,我没有看到复制1gb的合理改进 <file1> 到本地目录,在 <file1> 添加到hdfs缓存。完成拷贝的时间大约是17秒,前后 <file1> 添加到缓存中。 <file1> 验证是否通过添加到缓存 listDirective -stats 命令。谢谢你的帮助。
hdfs dfs copyToLocal <file1> <file2>
<file1>
listDirective -stats
3j86kqsm1#
包含hdfs dfsadmin-report的输出会很有用。增加ulimit并设置dfs.datanode.max.locked.memoryhttp://hadoop.apache.org/docs/r2.3.0/hadoop-project-dist/hadoop-hdfs/centralizedcachemanagement.html
1条答案
按热度按时间3j86kqsm1#
包含hdfs dfsadmin-report的输出会很有用。
增加ulimit并设置dfs.datanode.max.locked.memory
http://hadoop.apache.org/docs/r2.3.0/hadoop-project-dist/hadoop-hdfs/centralizedcachemanagement.html