java—hadoop分布式缓存可以包含文件夹还是只包含文件?

v1uwarro  于 2021-06-03  发布在  Hadoop
关注(0)|答案(1)|浏览(539)

对于一个项目,我需要向Map程序提供几个配置文件,但它们包含在不同的文件夹中。必须保留文件夹结构。
是否可以在分布式缓存中创建目录树,并在分布式缓存中访问该文件夹树特定位置的文件?
谢谢,

bakd9h0s

bakd9h0s1#

看一下api文档。很清楚你能做什么不能做什么。只需将文件添加到缓存中,不包括路径。但是,您可以包含一个归档文件,并且该归档文件可以具有一个目录结构,该目录结构将在客户机中重新创建。
编辑:添加了以下关于用户案例的信息。
您的所有Map程序将读取所有配置文件,还是仅读取其中的一个子集?如果是后者,那么应该考虑在hdfs中创建文件夹结构。如果不同的Map程序读取不同的文件,那么使用分布式缓存就没有什么优势。

相关问题