在运行时评估pyspark udf参数

e4yzc0pl 于 2021-05-17 发布在 Spark

关注(0)|答案(1)|浏览(475)

我有一个注册到pyspark的udf，它的任务是通过使用函数的参数a和b构建url来查询web。在运行时，它计算 Column<b'(colA + colB)'> 在打印报表时。
如何得到参数a和b中的字符串？

def udf_func(a, b):
    print(a + b)
    return requests.get(a + b)
get = udf(udf_func, ByteType())
df = df.withColumn("output", get(col("colA"), col("colB")))

谢谢

python apache-spark pyspark

来源：https://stackoverflow.com/questions/65017270/evaluating-pyspark-udf-arguments-during-runtime

1条答案

按热度按时间

unftdfkk1#

您可以按以下方式修改函数：

def udf_func(a, b): return requests.get(a + b)
get = udf(lambda a,b : udf_func(a,b), ByteType())
df = df.withColumn("output", get(col("colA"), col("colB")))

我不相信你可以打印自定义项内的值，因此我已经删除了它，但这应该为你工作。

赞(0）回复(0）举报 2021-05-17

我来回答

在运行时评估pyspark udf参数

1条答案

相关问题

热门标签

最新问答