我来自很多sql服务器，所以很难准确地描述数据进入hadoop时会发生什么。我的理解是，如果你有一本文本格式的书，可能在20万左右。。。您只需将数据复制到hadoop中，它就可以进行搜索。然而，这些数据是否成为块的一部分，从而使hdfs更为优化，还是仍然是hdfs中的一个200k文件，从而影响了性能？在bigtable中，块也是通常所说的平板电脑吗？非常感谢你的帮助。弗利马里奥
4zcjmb1e1#
小于hdfs的块大小（默认64兆字节）的文件将成为块的一部分，是的。但是在某些情况下，像这样的小文件可能仍然会影响性能，例如，如果您有很多这样的小文件，并且您在这些文件上运行mapreduce作业。vanilla hadoop与bigtable没有任何关系，hdfs块也无法与平板电脑相媲美。虽然hadoop的hdfs块不知道它们所持有的数据，但是bigtable平板电脑是有数据意识的。
1条答案
按热度按时间4zcjmb1e1#
小于hdfs的块大小（默认64兆字节）的文件将成为块的一部分，是的。但是在某些情况下，像这样的小文件可能仍然会影响性能，例如，如果您有很多这样的小文件，并且您在这些文件上运行mapreduce作业。
vanilla hadoop与bigtable没有任何关系，hdfs块也无法与平板电脑相媲美。虽然hadoop的hdfs块不知道它们所持有的数据，但是bigtable平板电脑是有数据意识的。