我想使用spark big query connector读取一个大查询,并将分区信息传递给它。这工作很好,但它读满了表格。我想根据分区值过滤数据。我该怎么做?我不想读取完整的表,然后对spark数据集应用过滤器。我想在读取自身时传递分区信息。这有可能吗?
Dataset<Row> testDS = session.read().format("bigquery")
.option("table", <TABLE>)
//.option("partition",<PARTITION>)
.option("project", <PROJECT_ID>)
.option("parentProject", <PROJECT_ID>)
.load();
1条答案
按热度按时间rqenqsqc1#
筛选器按此方式工作。选项(“筛选器”,“分区时间='2020-11-23 13:00:00')