我在配置单元中有一个带有外部模式的avro表 ...STORED AS AVRO TBLPROPERTIES('avro.schema.url=/path/to/schema.avsc')
我可以从spark访问表及其数据。在第一次访问之后,spark似乎正在tableproperties中持久化读取模式: spark.sql.sources.schema.part.0 = {....}
当我在hdfs的schema.avsc文件中添加注解(doc)时,我可以在hive中看到注解,但在spark中看不到。我一解开所有钥匙 spark.sql
在tableproperties中,我还可以看到spark中的注解。
第二个问题是,我只能看到 spark.sql...
配置单元中的属性。
在spark中是否有可能清除tableproperties中的这个持久化模式? refresh table did not help
暂无答案!
目前还没有任何答案,快来回答吧!