如何保证hadoop文件系统连接在我使用pool时得到管理

rqenqsqc  于 2021-06-03  发布在  Hadoop
关注(0)|答案(0)|浏览(208)

因为filesystem.get不是线程安全的,所以我改用filesystem.newinstance。但是每次需要连接到hdfs时调用newinstance方法可能不是一个好主意。所以我建立了文件系统连接池。
这是第一个问题。
这个方法好吗?
因为我检查了Hive的来源,但他们不使用这种方法。直接使用hdfsapi,甚至不要使用newinstance。为什么?他们如何建立新的文件系统连接?
而且它们也不使用filesystem.close()。
他们如何保证文件系统会关闭?

暂无答案!

目前还没有任何答案,快来回答吧!

相关问题