我想传递两个参数(比如x和y)给pyspark udf。
#I want to pass x and y as argument
@udf (returnType=StringType())
def my_udf(str,x,y):
return some_result
#Now call the udf on pyspark dataframe (df)
#I don't know how we can pass two arguemnt x and y here while calling udf
df.withColumn('new_col_name',my_udf(df.col,x,y))
字符串
1条答案
按热度按时间c8ib6hqw1#
要将变量传递给pyspak UDF,您可以使用pyspark.sql.functions模块中的lit functiond。这允许我们将常量值作为参数传递给UDF。
字符串
希望这对你有帮助。