如何在spark DataSourcev2API中获取partitionby信息?

z6psavjg  于 2021-05-27  发布在  Spark
关注(0)|答案(0)|浏览(186)

我正在用spark编写自定义数据源 DataSourceV2 API .
我想得到 partitionBy 写入操作的信息。例如;

spark.write
   .partitionBy("country")
   .format("customsource")
   .option("outputDirectory", "s3://path")
   .save()

在这种情况下,数据将被写入 outputDirectory ,但我想根据 partitionBy(country for above example) . 输出示例;

s3://path
 - UK
   - dataFile1
   - dataFile2
   - dataFile3
 - US
 - FR
 - etc.

如何获取分区信息 DataSourceV2 应用程序编程接口?

暂无答案!

目前还没有任何答案,快来回答吧!

相关问题