我正在寻找实际生产环境中的hive与spark的用例。这两种技术在生产环境中共存吗？如果是，什么样的转换可以通过hiveql进行，什么情况可以通过sparksql处理？
8cdiaqws1#
根据我们的经验，我们使用：用于etl的spark用于分析处理的Hive。但有一件事需要考虑-就是Hive下面的东西。例如，hive-on-tez将比spark更快地进行分析。但是如果hive在mapreduce上-最好使用spark进行分析。
1条答案
按热度按时间8cdiaqws1#
根据我们的经验，我们使用：
用于etl的spark
用于分析处理的Hive。
但有一件事需要考虑-就是Hive下面的东西。例如，hive-on-tez将比spark更快地进行分析。但是如果hive在mapreduce上-最好使用spark进行分析。