我正在用spark编写自定义数据源 DataSourceV2 API
.
我想得到 partitionBy
写入操作的信息。例如;
spark.write
.partitionBy("country")
.format("customsource")
.option("outputDirectory", "s3://path")
.save()
在这种情况下,数据将被写入 outputDirectory
,但我想根据 partitionBy(country for above example)
. 输出示例;
s3://path
- UK
- dataFile1
- dataFile2
- dataFile3
- US
- FR
- etc.
如何获取分区信息 DataSourceV2
应用程序编程接口?
暂无答案!
目前还没有任何答案,快来回答吧!