如何在列为null时透视

omvjsjqw  于 2021-05-27  发布在  Spark
关注(0)|答案(1)|浏览(414)
  1. source Type
  2. a null
  3. a aa
  4. a bb
  5. a cc
  6. source null aa bb cc
  7. a. 1. 1 1 1

如何停止旋转。包含空值的列

xmd2e60i

xmd2e60i1#

过滤 null 之前的值 pivot 检查以下代码。

  1. scala> df.show(false)
  2. +------+----+
  3. |source|type|
  4. +------+----+
  5. |a |null|
  6. |a |aa |
  7. |a |bb |
  8. |a |cc |
  9. +------+----+
  10. scala> df
  11. .filter($"type".isNotNull)
  12. .groupBy($"source")
  13. .pivot($"type")
  14. .agg(count($"type"))
  15. .show(false)
  16. +------+---+---+---+
  17. |source|aa |bb |cc |
  18. +------+---+---+---+
  19. |a |1 |1 |1 |
  20. +------+---+---+---+
展开查看全部

相关问题