我正在使用spark avro-like创建Dataframe
dataframe.write.format("com.databricks.spark.avro").save(outputPath)在我的例子中，输出路径类似于hdfs path+table\u name+partition
表\u name已经在配置单元中使用avroserde创建，其中位置设置为outputpath。
但是，当我从配置单元中为表名称选择*时，创建的Dataframe不可见。可能是什么问题
我正在使用spark avro-like创建Dataframe
dataframe.write.format("com.databricks.spark.avro").save(outputPath)在我的例子中，输出路径类似于hdfs path+table\u name+partition
表\u name已经在配置单元中使用avroserde创建，其中位置设置为outputpath。
但是，当我从配置单元中为表名称选择*时，创建的Dataframe不可见。可能是什么问题
2条答案
按热度按时间1yjd4xko1#
altertableaddpartition修复了这个问题
j2qf4p5b2#
这里发生的是
.save不更新配置单元元存储，因此新数据在查询中不可见。你可以试试
dataframe.write().mode(SaveMode.Append).partitionBy("partition").saveAsTable("table_name")将数据附加到表中。