hdfs短路读取

rt4zxlrg  于 2021-06-04  发布在  Hadoop
关注(0)|答案(1)|浏览(339)

根据文档,短路读取速度更快,因为它们不会通过数据节点。如果是这样的话
为什么默认情况下不启用此功能?
在哪些情况下我们需要短路读数?

mrzz3bfm

mrzz3bfm1#

看看这篇文章:http://blog.cloudera.com/blog/2013/08/how-improved-short-circuit-local-reads-bring-better-performance-and-security-to-hadoop/
文章摘要:
原始实现的一个主要缺点是,它会带来安全隐患。它必须让客户直接读取数据文件。我想这对启用kerberos的hdfs是不好的。
新的实现传递了一个文件描述符,这应该更安全、更快。
我想旧方法有一些缺点。我看不出这种新方法有什么坏处。我找不到确切的答案,新方法出现在哪个版本的hadoop中。

相关问题