我们正在努力找到当前正在使用的hdfs中每个文件夹上打开的文件。
所以我们尝试以下方法
hadoop fs -lsof /user/hdfs/.sparkStaging/application_1586272450810_3249
但这行不通。
为了计算文件夹下的文件
hdfs fsck /user/hdfs/.sparkStaging/application_1586272450810_3249 -files -blocks -locations -openforwrite | grep "Total files"
Total files: 29
但这只是文件夹下的总文件,而不是用于hdfs文件夹的已打开文件- /user/hdfs/.sparkStaging/application_1586272450810_3249
你知道怎么用这个吗 lsof
为了得到hdfs文件夹真正打开的文件?
注意:进行此测试的原因是要知道hdfs中哪些文件夹使用的文件最多,也许这样我们可以找到在hdfs上运行的进程占用最多内存资源的原因。
暂无答案!
目前还没有任何答案,快来回答吧!