可以使用删除重复项 distinct ，分组依据 accountname 和成本之和，并使用 accountname :

import pyspark.sql.functions as F

df2 = (df.dropDuplicates(['accountname', 'namespace', 'cost'])
         .groupBy('accountname')
         .agg(F.sum('cost').alias('cost_to_pay'))
         .join(df, 'accountname')
         .select('accountname', 'namespace', 'cost', 'cost_to_pay')
      )

df2.show()
+-----------+---------+----+-----------+
|accountname|namespace|cost|cost_to_pay|
+-----------+---------+----+-----------+
| account001|      ns1|  11|         21|
| account001|      ns1|  11|         21|
| account001|      ns1|  11|         21|
| account001|      ns1|  11|         21|
| account001|      ns2|  10|         21|
| account001|      ns2|  10|         21|
| account002|      ns3|  50|         50|
| account002|      ns3|  50|         50|
| account002|      ns3|  50|         50|
| account003|      ns4|   5|          5|
+-----------+---------+----+-----------+

你可以用 collect_set Windows上方 accountname 要获得不同的成本值，请使用 aggregate 功能：

from pyspark.sql import functions as F

df1 = df.withColumn(
    "cost_to_pay",
    F.expr("aggregate(collect_set(cost) over(partition by accountname), 0D, (acc, x) -> acc + x)")
)

df1.show()

# +-----------+---------+----+-----------+

# |accountname|namespace|cost|cost_to_pay|

# +-----------+---------+----+-----------+

# | account003|      ns4|   5|          5|

# | account001|      ns1|  11|         21|

# | account001|      ns1|  11|         21|

# | account001|      ns1|  11|         21|

# | account001|      ns1|  11|         21|

# | account001|      ns2|  10|         21|

# | account001|      ns2|  10|         21|

# | account002|      ns3|  50|         50|

# | account002|      ns3|  50|         50|

# | account002|      ns3|  50|         50|

# +-----------+---------+----+-----------+