hadoop2.0支持符号链接，使用 FileContext 物体 createSymlinks() 方法。
我正在研究在一个程序中大量使用符号链接，该程序将上个月的所有文件都放在hadoop归档文件（hars）中，但我想知道使用符号链接是否会消耗namenode内存，类似于在hdfs中使用小文件，这会破坏将这些文件放在hars中的目的，并导致我循环使用小文件的原始问题。
另外，我想使用符号链接的原因是，当文件被har'ed（并因此被移动）时，我不必用新的文件位置更新hbase。
namenode中符号链接的内存占用是多少？
1条答案
按热度按时间dfuffjeb1#
这是我从cloudera员工的cdh用户邮件列表中得到的答案：
你好geovanie，
符号链接的nn内存占用小于小文件的nn内存占用，因为符号链接纯粹是元数据，没有关联的块。块计数通常是避免使用小文件的真正原因。我希望你能够有一个足够大的nn堆数百万符号链接。
我要注意的是，符号链接目前只在filecontext中受支持，而大多数应用程序都是针对文件系统（包括fsshell）编写的。这意味着它们在符号链接中的行为将不正确。这可能会在将来的版本中发生变化，因为我们一直在研究上游的文件系统符号链接支持。
最好的，安德鲁