我的远程centos节点中有spark群集,我想从本地windows r studio连接该远程spark群集(我在本地windows中使用rstudio desktop)
if (nchar(Sys.getenv("SPARK_HOME")) < 1) {
Sys.setenv(SPARK_HOME = "/home/remoteclusterpath/spark-1.6.0-bin-hadoop2.6")
.libPaths(c(file.path(Sys.getenv("SPARK_HOME"), "R", "lib"), .libPaths()))
}
library(SparkR, lib.loc = "/home/remoteclusterpath/spark-1.6.0-bin-hadoop2.6/R/lib")
sc <- sparkR.init(master = "spark://<IP-Address>:7077", sparkEnvir = list(spark.driver.memory="2g"))
我得到下面这个错误
Error in library(SparkR) : there is no package called ‘SparkR’
请任何人给我提供解决方案,谢谢提前
2条答案
按热度按时间ikfrs5lh1#
要在rstudio中使用sparkr,可以在rstudio控制台上安装sparkyr命令:
稍后,可以使用以下命令加载此包:
pw136qt22#
要在rstudio中使用sparkr,您需要安装sparkr包并加载它。使用这些命令