pyspark3.0如何修剪所有列的空间

vuktfyat  于 2021-07-12  发布在  Spark
关注(0)|答案(1)|浏览(359)

这个问题在这里已经有答案了

在pysparkDataframe中修剪(4个答案)
上个月关门了。
对于这个Dataframe:如何修剪循环中每列的所有前导和尾随空格?

df = spark.createDataFrame(
        [
            (' a', '10 ', ' b '), # create your data here, be consistent in the types.
        ],
        ['col1', 'col2','col3'] # add your columns label here
    )
    df.show(5)

我知道如何通过如下所示指定每一列来做到这一点,但需要对循环中的所有列都这样做,因为在实际情况中,我不知道列名和列数。

from pyspark.sql.functions import trim
    df = df.withColumn("col2", trim(df.col2))
    df.show(5)
qni6mghb

qni6mghb1#

你可以用列表来申请 trim 到所有列:

from pyspark.sql.functions import trim, col
df2 = df.select([trim(col(c)).alias(c) for c in df.columns])

相关问题