我目前正在使用databricks集群外部托管的rstudio服务器,并按照步骤配置databricks connect。连接测试也很成功。但是当我使用下面的代码初始化spark会话时,它抛出了一个错误。
>>library(SparkR)
>>sparkR.session()
我甚至尝试了下面的命令,但抛出了相同的错误:
SparkR::sparkR.session()
警告nativecodeloader:无法为您的平台加载本机hadoop库。。。使用内置java类(如果适用)使用spark的默认log4j配置文件:org/apache/spark/log4j-defaults.properties将默认日志级别设置为“warn”。要调整日志级别,请使用sc.setloglevel(newlevel)。对于sparkr,使用setloglevel(newlevel)。if(len>0){:参数长度为零时出错
我想访问databricks上的sql表或在r中编写sql查询,如下所示:
diamonds <- sql("select * from default.diamonds")
需要初始化spark会话的。让我知道是否有其他的选择可以应用。
1条答案
按热度按时间jbose2ul1#
我也有类似的问题。我对代码做了以下更改。