如何在r中设置spark.sql.pivotmaxvalues?

8yoxcaq7  于 2021-07-09  发布在  Spark
关注(0)|答案(0)|浏览(282)

因为r还支持spark平台使用 Sparklyr 包裹,有没有办法设置 spark.sql.pivotMaxValues 从r?据我所知,只有scala和python支持这种设置
如何在python中设置spark.sql.pivotmaxvalues?
如何在scala中设置spark.sql.pivotmaxvalues?
我需要它来制作一个交叉表电影分级数据集,它的长度类似于230k用户x 44k电影,我尝试将其添加到config对象中,如下所示:

spark_config_connect <- function(memory_executor = "4GB",
                                 memory_fraction = 0.9, 
                                 executor_core = 4,
                                 dynamic_memory_allocation="false",
                                 pivot_max_values = 100000){
  library(sparklyr)
  conf <- spark_config()   # Load variable with spark_config()
  conf$spark.executor.memory <- memory_executor
  conf$spark.memory.fraction <- memory_fraction
  conf$spark.executor.cores <- executor_core
  conf$spark.dynamicAllocation.enabled <- dynamic_memory_allocation
  conf$spark.sql.pivotMaxValues <- pivot_max_values
  spark_conn <- spark_connect(master = "local", 
                      config = conf)  # Pass the conf variable 
  print(spark_version(sc=spark_conn))
  return(spark_conn)
}

spark_conn <- spark_config_connect()

但后来它拒绝连接: Error in file(con, "r") : cannot open the connection

暂无答案!

目前还没有任何答案,快来回答吧!

相关问题