我正在寻找将Spyder中编写的Python if/else语句转换为Azure Databricks,我对PySpark还是个新手,不知道如何处理这个问题.
length_df = df.shape[0]
if(length_df>0):
qry='''
select *
from df where idnum not in
(select idnum from df_Prev)
'''
else:
df_new= df_.copy()
我尝试使用When/Otherwise组合,我在我创建的pyspark对象框架上读到过,但一直出现错误,因为它似乎是预期的列。我知道我可以使用神奇的'%sql'命令来构建一个语句,但是ask是将其作为Python而不是SQL放在数据库中。
1条答案
按热度按时间ss2ws0br1#
如果我对你的问题理解正确的话,你需要在pyspark中找到一种方法来过滤一个在另一个框架中不存在键的框架。
用于创建嵌套框架的代码:
字符串
现在,使用反连接(返回不符合条件的行)来连接多个字符串:
型
显示结果:
型
的数据