如何确保shdfs集中式缓存工作

nxagd54h  于 2021-06-02  发布在  Hadoop
关注(0)|答案(1)|浏览(308)

我只是想知道 hdfs dfs copyToLocal <file1> <file2> 是测试hdfs读缓存配置是否正确的好方法。
在我的实验中,我没有看到复制1gb的合理改进 <file1> 到本地目录,在 <file1> 添加到hdfs缓存。完成拷贝的时间大约是17秒,前后 <file1> 添加到缓存中。 <file1> 验证是否通过添加到缓存 listDirective -stats 命令。
谢谢你的帮助。

3j86kqsm

3j86kqsm1#

包含hdfs dfsadmin-report的输出会很有用。
增加ulimit并设置dfs.datanode.max.locked.memory
http://hadoop.apache.org/docs/r2.3.0/hadoop-project-dist/hadoop-hdfs/centralizedcachemanagement.html

相关问题