使用即时时间读取spark数据源hudi表

yc0p9oo0  于 2021-07-12  发布在  Spark
关注(0)|答案(0)|浏览(451)

我正在使用spark.read.format(“hudi”)读取hudi表
想了解此选项是如何工作的hoodie.datasource.read.begin.instanttime它是否与parquets文件中提供的hudi的hoodie\u commit\ts列类似?
我无法使用hoodie\u commit\u ts列和below方法在同一hudi路径上的外部表之间获得相同的计数。
示例代码在这里
开始时间='20201201194517'
incremental\u read\u options={'hoodie.datasource.query.type':'incremental','hoodie.datasource.read.begin.instanttime':begintime}
增量_df=spark.read.format(“org.apache.hudi”)。
选项(**增量读取选项)。
加载()

暂无答案!

目前还没有任何答案,快来回答吧!

相关问题