spark替代hive虚拟列

hts6caw3  于 2021-05-16  发布在  Spark
关注(0)|答案(0)|浏览(797)

我想将hdfs文件名添加到spark中由配置单元查询生成的Dataframe中,类似于配置单元输入文件名的方式。我必须在配置单元sql中编写查询,但是我们版本的spark不支持虚拟列。似乎我需要在hive之外重新实现输入文件名特性,除非有人知道更好的方法。
我知道可以将输入文件名添加到Dataframe中。在通过spark使用hive时,有没有同样的方法?

暂无答案!

目前还没有任何答案,快来回答吧!

相关问题