我已经开始学习hadoop，刚刚完成hadoop1.2.1文档中演示的单个节点的设置，现在我想知道当文件存储在这种类型的fs中时，我是否应该像在windows中那样使用分层存储模式，比如文件夹和子文件夹，或者只要文件有一个唯一的名称就可以写入文件？如果有人在生产环境中使用单节点设置，是否可以向单节点设置中添加新节点。或者只需添加更多节点并编辑配置，就可以将单个节点转换为集群而不丢失数据？这一个我可以谷歌，但什么鬼！不管怎样，我在问你，告我吧。我可以在hdfs中存储的最大文件数是多少？
u3r8eeie1#
要扩展攀登的答案：最大文件数是名称节点服务器可用内存量的函数。name节点中的每个元数据条目都需要150-200字节的内存（根据版本而变化），这是一个松散的指导。由此，您需要推断出每个文件的文件数和块数（这可能因文件和块大小而异），并可以估计给定内存分配（2g/4g/20g等）可以存储多少元数据条目（因此也包括文件）。
4uqofj5v2#
当文件存储在这种类型的fs中时，我是否应该像在windows中那样使用分层存储模式，比如文件夹和子文件夹，或者只要文件有一个唯一的名称就可以写入文件？是的，使用目录对你有利。一般来说，在hadoop中运行作业时，如果将路径传递给某个目录，它将处理该目录中的所有文件。所以。。不管怎样，你真的必须使用它们。如果有人在生产环境中使用单节点设置，是否可以向单节点设置中添加新节点。或者只需添加更多节点并编辑配置，就可以将单个节点转换为集群而不丢失数据？您可以随意添加/删除节点（除非是单个节点，您指的是伪分布式的。。。这是不同的）这一个我可以谷歌，但什么鬼！不管怎样，我在问你，告我吧。我可以在hdfs中存储的最大文件数是多少？太多了
2条答案
按热度按时间u3r8eeie1#
要扩展攀登的答案：
最大文件数是名称节点服务器可用内存量的函数。name节点中的每个元数据条目都需要150-200字节的内存（根据版本而变化），这是一个松散的指导。
由此，您需要推断出每个文件的文件数和块数（这可能因文件和块大小而异），并可以估计给定内存分配（2g/4g/20g等）可以存储多少元数据条目（因此也包括文件）。
4uqofj5v2#
当文件存储在这种类型的fs中时，我是否应该像在windows中那样使用分层存储模式，比如文件夹和子文件夹，或者只要文件有一个唯一的名称就可以写入文件？
是的，使用目录对你有利。一般来说，在hadoop中运行作业时，如果将路径传递给某个目录，它将处理该目录中的所有文件。所以。。不管怎样，你真的必须使用它们。
如果有人在生产环境中使用单节点设置，是否可以向单节点设置中添加新节点。或者只需添加更多节点并编辑配置，就可以将单个节点转换为集群而不丢失数据？
您可以随意添加/删除节点（除非是单个节点，您指的是伪分布式的。。。这是不同的）
这一个我可以谷歌，但什么鬼！不管怎样，我在问你，告我吧。我可以在hdfs中存储的最大文件数是多少？
太多了