又是数据处理菜鸟。
我的主要目标是从内部资源获取表，将它们作为Parquet-file存储在云存储桶中，并从该文件在BigQuery中创建/更新表。在我之前关于Dataproc和Hudi conf的文章之后，我能够通过Dataproc/PySpark/Hudi从内部资源部署和获取表，并将它们存储在云存储中。
下一个问题是关于'upsert'配置文件在'hudi_options'和如何可以追加新的结果在parquet文件是云存储桶。这是不清楚我是你可以更新/改变一个parquet文件与hudi。我想避免删除以前的加载和只存储一个parquet文件每个表。
上插代码：

table_location = "gs://bucket/{}/".format(table_name)
updates = spark.read.format("jdbc") \
.option("url",url) \
.option("user", username) \
.option("password", password) \
.option("driver", "com.sap.db.jdbc.Driver") \
.option("query", query) \
.load()
hudi_options = {
    'hoodie.table.name': table_name,
    'hoodie.datasource.write.storage.type': 'COPY_ON_WRITE',
    'hoodie.datasource.write.recordkey.field': 'a,b,c,d,e',
    'hoodie.datasource.write.table.name': table_name,
    'hoodie.datasource.write.operation': 'upsert',
    'hoodie.datasource.write.precombine.field': 'x',
    'hoodie.upsert.shuffle.parallelism': 2,
    'hoodie.insert.shuffle.parallelism': 2,
    'path': table_location,
    'hoodie.datasource.hive_sync.enable': 'true',
    'hoodie.datasource.hive_sync.database': database_name,
    'hoodie.datasource.hive_sync.table': table_name,
    'hoodie.datasource.hive_sync.partition_extractor_class': 'org.apache.hudi.hive.MultiPartKeysValueExtractor',
    'hoodie.datasource.hive_sync.use_jdbc': 'false',
    'hoodie.datasource.hive_sync.mode': 'hms'
}
updates.write.format("hudi") \
    .options(**hudi_options) \
    .mode("append") \
    .save()

但是，在云存储中生成另一个Parquet文件。
我在配置中遗漏了什么吗？
谢谢!