有没有关闭分区发现的方法？我试图阻止列自动添加到我的Dataframe。
例如
如果我有这样的文件夹结构
/data/year=2018/table=foo/....如果我从数据中读取数据，我就不希望year/table作为read-in数据框中的列
spark.read.orc("/data/*")应该看起来像
col_1, col_2, ....而不是
col_1, col_2, ..., year, table有没有关闭分区发现的方法？我试图阻止列自动添加到我的Dataframe。
例如
如果我有这样的文件夹结构
/data/year=2018/table=foo/....如果我从数据中读取数据，我就不希望year/table作为read-in数据框中的列
spark.read.orc("/data/*")应该看起来像
col_1, col_2, ....而不是
col_1, col_2, ..., year, table
暂无答案！
目前还没有任何答案，快来回答吧！