我是java spark的新手。
我目前对mongodbetl到hive有问题，这可能会导致字段具有不同的数据类型。所以我想增加样本大小，但我只看到scala的例子，而我使用java，有人知道我是否正确地增加了samplesize？
SparkSession spark = SparkSession.builder()
.master("local[2]")
.appName("SparkReadMgToHive")
.config("spark.sql.warehouse.dir", warehouseLocation)
.config("spark.mongodb.input.uri", "mongodb://localhost:27017/test.testcollection")
.config("sampleSize", 50000)
.enableHiveSupport()
.getOrCreate();非常感谢
1条答案
按热度按时间n53p2ov01#
是的
spark.mongodb.input.sampleSize```SparkSession spark = SparkSession.builder()
.master("local[2]")
.appName("SparkReadMgToHive")
.config("spark.sql.warehouse.dir", warehouseLocation)
.config("spark.mongodb.input.uri", "mongodb://localhost:27017/test.testcollection")
.config("spark.mongodb.input.sampleSize", 50000)
.enableHiveSupport()
.getOrCreate();