Hive点火模式与mr模式Sparksql催化剂优化器/rdd/钨
bvpmtnay1#
spark上的配置单元不同于通过hivecontext使用spark sql运行配置单元查询。它不将查询转换为spark原语，而是将它们转换为mapreduce原语并在spark上执行。它的主要目的是利用spark执行引擎，而不影响hive中现有的代码。在内部，它将hive的逻辑运算符转换为spark任务，这些任务主要是rdd转换和操作，目前还没有使用dataframe（根据官方文档），因此它没有使用wongth或catalyst optimizer来完成这些任务。以下文件提到了官方文件中提供的spark上Hive的所有设计考虑因素-Hive点火模式设计
1条答案
按热度按时间bvpmtnay1#
spark上的配置单元不同于通过hivecontext使用spark sql运行配置单元查询。它不将查询转换为spark原语，而是将它们转换为mapreduce原语并在spark上执行。它的主要目的是利用spark执行引擎，而不影响hive中现有的代码。
在内部，它将hive的逻辑运算符转换为spark任务，这些任务主要是rdd转换和操作，目前还没有使用dataframe（根据官方文档），因此它没有使用wongth或catalyst optimizer来完成这些任务。
以下文件提到了官方文件中提供的spark上Hive的所有设计考虑因素-
Hive点火模式设计