spark session未初始化| sparkr.session()给出错误“error in if(len>0){:参数长度为零”

vngu2lb8  于 2021-05-17  发布在  Spark
关注(0)|答案(1)|浏览(620)

我目前正在使用databricks集群外部托管的rstudio服务器,并按照步骤配置databricks connect。连接测试也很成功。但是当我使用下面的代码初始化spark会话时,它抛出了一个错误。

>>library(SparkR)
>>sparkR.session()

我甚至尝试了下面的命令,但抛出了相同的错误:

SparkR::sparkR.session()

警告nativecodeloader:无法为您的平台加载本机hadoop库。。。使用内置java类(如果适用)使用spark的默认log4j配置文件:org/apache/spark/log4j-defaults.properties将默认日志级别设置为“warn”。要调整日志级别,请使用sc.setloglevel(newlevel)。对于sparkr,使用setloglevel(newlevel)。if(len>0){:参数长度为零时出错
我想访问databricks上的sql表或在r中编写sql查询,如下所示:

diamonds <- sql("select * from default.diamonds")

需要初始化spark会话的。让我知道是否有其他的选择可以应用。

jbose2ul

jbose2ul1#

我也有类似的问题。我对代码做了以下更改。

library(SparkR, lib.loc = "/usr/local/spark/R/lib")
sparkEnvir <- list(spark.num.executors='5', spark.executor.cores='5')

# initializing Spark context

sc <- sparkR.init(sparkHome = "/usr/local/spark",
                  sparkEnvir = sparkEnvir)

# initializing SQL context

sqlContext <- sparkRSQL.init(sc)

相关问题