添加基于字典的PySpark列，其中键是元组

zqry0prt 于 2022-11-01 发布在 Spark

关注(0)|答案(1)|浏览(146)

我有下面的 python 字典：

ranges = {
    (0, 10): '0 - 10',
    (10, 100): '10 - 100',
    (100, float('inf')): '100+'
}

中的每一个
和下面的 df ：
| 识别码|数值|
| - -| - -|
| 第 001 章|九个|
| 002 年|10 个|
| 003 年|三百个|
我想添加一个列，如果 " Value " 列介于（不包括）字典键中的两个数字之间，则该列返回字典的值。
因此，生成的 df 应该如下所示：
| 识别码|数值|范围|
| - -| - -| - -|
| 第 001 章|九个|0 - 10 岁|
| 002 年|10 个|10 - 100 个|
| 003 年|三百个|100 个以上|
我知道我可以使用 withColumn 和 when ，例如：

df.withColumn(
    'Range',
     .when((col('Value') >= lit(0)) & (col('Value') < lit(10)), '0 - 10')
)

格式
或者希望在键中使用不同的数字进行测试，这将是低效的。
希望这是有意义的。我将感谢任何和所有的投入。提前感谢你这么多。

pyspark

来源：https://stackoverflow.com/questions/73804696/add-pyspark-column-based-on-dictionary-where-the-keys-are-tuples

1条答案

按热度按时间

t98cgbkg1#

字典可以转换为SQL表达式：

range_expr='case '
for r, label  in ranges.items():
    range_expr += f'when value >= {r[0]} '
    if r[1] != float('inf'):
      range_expr += f'and value < {r[1]} '
    range_expr += f'then "{label}" '
range_expr += 'end'

range_expr现在的值为

case when value >= 0 and value < 10 then "0 - 10" when value >= 10 and value < 100 then "10 - 100" when value >= 100 then "100+" end

并且可以用于构造新的列：

from pyspark.sql import functions as F

df.withColumn('range', F.expr(range_expr)).show()

输出量：

+---+-----+--------+
| id|value|   range|
+---+-----+--------+
|001|    9|  0 - 10|
|002|   10|10 - 100|
|003|  300|    100+|
+---+-----+--------+

赞(0）回复(0）举报 2022-11-01

我来回答

添加基于字典的PySpark列，其中键是元组

1条答案

相关问题

热门标签

最新问答