直线脚本是连接spark/bin中的hiveserver2的一种方式。我运行了如下的简单查询。在输出中，我可以看到map reduce正在启动。我只是想了解spark中直线特性的优点是什么，因为它遵循了传统的map-reduce执行框架？我们可以在直线上使用spark rdd功能吗？提前谢谢。
o3imoua41#
直线不是Spark的一部分。它只是一个hiveserver2客户端。您可以启动sparkshell并在shell中执行查询，但这与beeline无关。直线与Spark无关。
i2loujxw2#
这是一种方法。如果你不想使用mapreduce，你可以使用 TEZ 作为引擎，它在内存中的运行速度将比mr。
TEZ
SET hive.execution.engine=tez;
但不能从beeline运行spark ifrom。这是一个连接到hiveserver2的独立应用程序。
wgeznvg73#
加上@mondaymokey说的话。直线不是Spark发动机的一部分。它只是一个连接到spark的thriftserver（jdbc服务器）的jdbc客户机。beeline为您提供了一个sql接口来与sparksql交互
3条答案
按热度按时间o3imoua41#
直线不是Spark的一部分。
它只是一个hiveserver2客户端。
您可以启动sparkshell并在shell中执行查询，但这与beeline无关。直线与Spark无关。
i2loujxw2#
这是一种方法。如果你不想使用mapreduce，你可以使用
TEZ作为引擎，它在内存中的运行速度将比mr。但不能从beeline运行spark ifrom。这是一个连接到hiveserver2的独立应用程序。
wgeznvg73#
加上@mondaymokey说的话。直线不是Spark发动机的一部分。它只是一个连接到spark的thriftserver（jdbc服务器）的jdbc客户机。beeline为您提供了一个sql接口来与sparksql交互