使用spark bigqueryconnector阅读大查询

v440hwme  于 2021-05-17  发布在  Spark
关注(0)|答案(1)|浏览(370)

我想使用spark big query connector读取一个大查询,并将分区信息传递给它。这工作很好,但它读满了表格。我想根据分区值过滤数据。我该怎么做?我不想读取完整的表,然后对spark数据集应用过滤器。我想在读取自身时传递分区信息。这有可能吗?

Dataset<Row> testDS = session.read().format("bigquery")
                    .option("table", <TABLE>)
                    //.option("partition",<PARTITION>)
                    .option("project", <PROJECT_ID>)
                    .option("parentProject", <PROJECT_ID>)
                    .load();
rqenqsqc

rqenqsqc1#

筛选器按此方式工作。选项(“筛选器”,“分区时间='2020-11-23 13:00:00')

相关问题