使用groupby和withcolumn spark

jgwigjjp  于 2021-05-27  发布在  Spark
关注(0)|答案(0)|浏览(273)

我正在尝试运行以下代码,编译器当前被卡住。。。我怀疑这与标题中提到的块有关,因为当我评论一个块时,它正常工作,但没有预期的结果

  1. def convertSize(size: String): Double = {
  2. if (size.contains('M')) {
  3. size.dropRight(1).toDouble
  4. }
  5. else {
  6. size.toDouble / 1000000
  7. }
  8. }
  9. val sizeUDF = udf(convertSize _);
  10. spark.read
  11. .option("header", "true")
  12. .option("mode", "DROPMALFORMED")
  13. //.schema(Gps.schema)
  14. .csv(Gps.path)
  15. .groupBy(col("App"),
  16. col("Rating"),
  17. col("Reviews"),
  18. col("Size")
  19. col("Installs"),
  20. col("Type"),
  21. col("Price"), //todo convert
  22. col("Content Rating"),
  23. col("Genres"), //todo split
  24. col("Last Updated"), //todo convert
  25. col("Current Ver").alias("Current_Version"),
  26. col("Android Ver").alias("Minimum_Android_Version")
  27. )
  28. .agg(collect_set("Category").alias("Categories"))
  29. .withColumn("Size", sizeUDF($"Size"))
  30. .show()

暂无答案!

目前还没有任何答案,快来回答吧!

相关问题