使用BigQuery Spark连接器保存分区表

xghobddn  于 2023-01-05  发布在  Apache
关注(0)|答案(1)|浏览(126)

我想使用带有以下两个选项(partion by和require filter)的frompyspark创建一个表,但我看不到使用bigquery连接器执行此操作的选项
这就是我在BigQuery中的工作方式

CREATE dataset.table AS SELECT XXXX 
PARTITION BY
  DATE_TRUNC(collection_date, DAY) OPTIONS ( require_partition_filter = TRUE)

这是我通常做的

dataframe
        .write
        .format("bigquery")
        .mode(mode)
        .save(f"{dataset}.{table_name}")
2guxujil

2guxujil1#

您可以使用partitionFielddatePartitionpartitionType
用于群集-clusteredFields
查看更多选项:
https://github.com/GoogleCloudDataproc/spark-bigquery-connector#properties

相关问题