因为r还支持spark平台使用 Sparklyr
包裹,有没有办法设置 spark.sql.pivotMaxValues
从r?据我所知,只有scala和python支持这种设置
如何在python中设置spark.sql.pivotmaxvalues?
如何在scala中设置spark.sql.pivotmaxvalues?
我需要它来制作一个交叉表电影分级数据集,它的长度类似于230k用户x 44k电影,我尝试将其添加到config对象中,如下所示:
spark_config_connect <- function(memory_executor = "4GB",
memory_fraction = 0.9,
executor_core = 4,
dynamic_memory_allocation="false",
pivot_max_values = 100000){
library(sparklyr)
conf <- spark_config() # Load variable with spark_config()
conf$spark.executor.memory <- memory_executor
conf$spark.memory.fraction <- memory_fraction
conf$spark.executor.cores <- executor_core
conf$spark.dynamicAllocation.enabled <- dynamic_memory_allocation
conf$spark.sql.pivotMaxValues <- pivot_max_values
spark_conn <- spark_connect(master = "local",
config = conf) # Pass the conf variable
print(spark_version(sc=spark_conn))
return(spark_conn)
}
spark_conn <- spark_config_connect()
但后来它拒绝连接: Error in file(con, "r") : cannot open the connection
暂无答案!
目前还没有任何答案,快来回答吧!