我对这两个很困惑。我知道鲨鱼和Hive一样快100倍,在Spark上工作。我想知道Spark和鲨鱼的主要区别。哪一个更好意味着更快。当我不得不使用Spark或鲨鱼时?????
r7s23pms1#
spark是一个用于分布式数据处理的框架,您可以用scala、java和python编写代码。shark被重命名为sparksql,它是spark之上的某种sql引擎—您编写sql查询并使用spark框架执行它们。以下是spark编程指南:https://spark.apache.org/docs/latest/programming-guide.html 以下是spark sql指南:https://spark.apache.org/docs/latest/sql-programming-guide.html因此,如果您编写一个sparksql查询,它将被转换为spark代码并执行,这意味着通常您可以编写一个spark代码,该代码的工作速度与sparksql查询相同或更快
1条答案
按热度按时间r7s23pms1#
spark是一个用于分布式数据处理的框架,您可以用scala、java和python编写代码。shark被重命名为sparksql,它是spark之上的某种sql引擎—您编写sql查询并使用spark框架执行它们。
以下是spark编程指南:https://spark.apache.org/docs/latest/programming-guide.html 以下是spark sql指南:https://spark.apache.org/docs/latest/sql-programming-guide.html
因此,如果您编写一个sparksql查询,它将被转换为spark代码并执行,这意味着通常您可以编写一个spark代码,该代码的工作速度与sparksql查询相同或更快