我希望运行hive而不用费心运行hadoop/map reduce。我希望用户只将hive用于元数据，并将spark、presto等用于查询/执行。我认为这通常会起作用，但我关心的是一些管理命令。具体来说，我需要知道 msck repair table 作品。这个命令需要map reduce来运行，还是hive在metastore/etc中处理它？
msck repair table
hfsqlsce1#
Mapreduce二进制文件本身对于msck修复表。map-reduce（mr）是一个用于大规模并行计算的概念。如果不使用impala或其他执行引擎进行处理（如spark），hive将使用map reduce。看到了吗https://www.cloudera.com/documentation/enterprise/5-13-x/topics/cdh_ig_hive_troubleshooting.html#hive_msck_repair_table_best_practices.在任何情况下，使用hdfs等意味着hadoop的安装和你得到所有的先生好东西无论如何。当然，您可以在没有hadoop的情况下运行spark。也就是说，它的一些功能依赖于hadoop二进制文件，例如parquet。编辑-从评论中提取此内容，同时接受，因为它非常有用：这个链接的答案深入探讨了msck修复是如何工作的，并明确指出map reduce并不是由它触发的。msck repair table在幕后做什么？为什么这么慢？
1条答案
按热度按时间hfsqlsce1#
Mapreduce二进制文件本身对于
msck修复表。
map-reduce（mr）是一个用于大规模并行计算的概念。
如果不使用impala或其他执行引擎进行处理（如spark），hive将使用map reduce。
看到了吗https://www.cloudera.com/documentation/enterprise/5-13-x/topics/cdh_ig_hive_troubleshooting.html#hive_msck_repair_table_best_practices.
在任何情况下，使用hdfs等意味着hadoop的安装和你得到所有的先生好东西无论如何。
当然，您可以在没有hadoop的情况下运行spark。也就是说，它的一些功能依赖于hadoop二进制文件，例如parquet。
编辑-从评论中提取此内容，同时接受，因为它非常有用：
这个链接的答案深入探讨了msck修复是如何工作的，并明确指出map reduce并不是由它触发的。
msck repair table在幕后做什么？为什么这么慢？