我想使用带有以下两个选项(partion by和require filter)的frompyspark创建一个表,但我看不到使用bigquery连接器执行此操作的选项
这就是我在BigQuery中的工作方式
CREATE dataset.table AS SELECT XXXX
PARTITION BY
DATE_TRUNC(collection_date, DAY) OPTIONS ( require_partition_filter = TRUE)
这是我通常做的
dataframe
.write
.format("bigquery")
.mode(mode)
.save(f"{dataset}.{table_name}")
1条答案
按热度按时间2guxujil1#
您可以使用
partitionField
、datePartition
、partitionType
用于群集-
clusteredFields
查看更多选项:
https://github.com/GoogleCloudDataproc/spark-bigquery-connector#properties