pyspark-通过比较不同Dataframe中的值，根据条件更新Dataframe

ht4b089n 于 2021-05-19 发布在 Spark

关注(0)|答案(1)|浏览(514)

我有两个Dataframe：
旧的Dataframe将是一个固定的Dataframe；新东东-每天都在变化。
对于每个id，基于new琰df中age列的值，旧琰df中的age将被更新，并且每当有更新时计数器将递增1。如果年龄没有变化，则计数器和年龄列保持相同的值（无增量）
旧的（编辑，包括第5个id）

id age counter
1   12   0
2   15   0
3   22   0
4   19   0
5   11   0

新建\u df

旧数据框的输出现在应该是：
旧数据框：

id age counter
1   20   1
2   21   1
3   22   0
4   19   0
5   11   0

到目前为止，我尝试了以下方法：

df_old = df_old.withColumnRenamed('id','id_old')\
.withColumnRenamed('age','age_old')
joinedDF = df_old.join(df_new, df_new["id"] == df_old["id_old"], "outer")
if(joinedDF.select(joinedDF.age_old != joinedDF.age)):
        joinedDF = joinedDF.withColumn("age_old",joinedDF['age'])
        joinedDF = joinedDF.withColumn("counter",joinedDF['counter']+1)
joinedDF[['id_old', 'age_old', 'counter']].toPandas()
id_old age_old counter
1         20   1
2         21   1
3         22   1
4         19   1

如果你能看到我得到的id\u old=3和4的输出，我应该得到0的计数器值，但是得到1。感谢您的帮助

DataFrame apache-spark pyspark apache-spark-sql

来源：https://stackoverflow.com/questions/64442312/pyspark-update-a-data-frame-based-on-condition-by-comparing-values-in-a-differ

1条答案

按热度按时间

uyhoqukh1#

这样你才能达到同样的效果，

row = Row('id', 'age','counter')
old_df = spark.createDataFrame([row(1, 12, 0), row(2, 15, 0), row(3, 22, 0), row(4, 19, 0)])
old_df.show()
row2 = Row('id', 'age')
new_df = spark.createDataFrame([row(1, 20), row(2, 21), row(3, 22), row(4, 19)])
new_df.show()
old_df = old_df.alias("old_df").join(new_df.alias("new_df"), old_df.id == new_df.id, "inner").selectExpr("old_df.id as id", "new_df.age as age ",
                                                                          "if(old_df.age != new_df.age, old_df.counter+1,old_df.counter) as counter").sort("id")
old_df.show()

输出：

+---+---+-------+
| id|age|counter|
+---+---+-------+
|  1| 12|      0|
|  2| 15|      0|
|  3| 22|      0|
|  4| 19|      0|
+---+---+-------+
+---+---+
| id|age|
+---+---+
|  1| 20|
|  2| 21|
|  3| 22|
|  4| 19|
+---+---+
+---+---+-------+
| id|age|counter|
+---+---+-------+
|  1| 20|      1|
|  2| 21|      1|
|  3| 22|      0|
|  4| 19|      0|
+---+---+-------+

展开查看全部

赞(0）回复(0）举报 2021-05-19

我来回答

pyspark-通过比较不同Dataframe中的值，根据条件更新Dataframe

1条答案

相关问题

热门标签

最新问答