为什么我能过滤掉我已经在spark中加入的一个列?

f0brbegy  于 2021-05-18  发布在  Spark
关注(0)|答案(0)|浏览(288)

当我在spark中从Dataframe中删除一列时,我希望我不能再使用该列。
但是,在这个例子中我可以:

schema=['a','b']
data = [[1,2],[3,4],[1,1]]
sparkSession.createDataFrame(data=data,schema=schema).drop('a').filter(func.col('a')!=func.col('b')).toPandas()

这将返回包含2和4的行的列b。我预计它会崩溃,因为它没有列“a”。
如何删除列并防止其被使用?这种行为记录在哪里?

暂无答案!

目前还没有任何答案,快来回答吧!

相关问题