向pyspark udf传递参数

mwg9r5ms  于 2023-11-16  发布在  Spark
关注(0)|答案(1)|浏览(184)

我想传递两个参数(比如x和y)给pyspark udf。

#I want to pass x and y as argument
@udf (returnType=StringType())
def my_udf(str,x,y):
    return some_result
#Now call the udf on pyspark dataframe (df)
#I don't know how we can pass two arguemnt x and y here while calling udf
df.withColumn('new_col_name',my_udf(df.col,x,y))

字符串

c8ib6hqw

c8ib6hqw1#

要将变量传递给pyspak UDF,您可以使用pyspark.sql.functions模块中的lit functiond。这允许我们将常量值作为参数传递给UDF。

from pyspark.sql.functions import lit

@udf (returnType=StringType())
def my_udf(str,x,y):
    return some_result
#Now call the udf on pyspark dataframe (df)
#I don't know how we can pass two arguemnt x and y here while calling udf
df.withColumn('new_col_name',my_udf(df.col,lit(x),lit(y)))

字符串
希望这对你有帮助。

相关问题