在这种情况下，必须使用row\ u number（）函数。我已经创建了一个Dataframe

val df = Seq((1,"2019-05-03"),(1,"2018-05-03"),(2,"2019-05-03"),(2,"2018-05-03"),(3,"2019-05-03"),(3,"2018-05-03")).toDF("id","date")

df.show

+---+----------+
| id|      date|
+---+----------+
|  1|2019-05-03|
|  1|2018-05-03|
|  2|2019-05-03|
|  2|2018-05-03|
|  3|2019-05-03|
|  3|2018-05-03|
+---+----------+

id表示案例中可以针对多个日期显示的人员id。
这是每个日期的计数。

df.groupBy("date").count.show

+----------+-----+
|      date|count|
+----------+-----+
|2018-05-03|    3|
|2019-05-03|    3|
+----------+-----+

显示每个日期的重复id计数。我总共使用了3个id，每个日期有3个计数，这意味着所有id在每个日期都显式计数。
现在据我所知，您希望一个id在任何日期只计算一次（取决于您想要的是最晚的日期还是最早的日期）。
我要用最新的日期为每个身份证。

val newdf = df.withColumn("row_num",row_number().over(Window.partitionBy($"id").orderBy($"date".desc)))

上面的行将根据每个id为每个日期的条目分配行号，行号1将引用每个id的最新日期，现在您将根据行号为1的每个id进行计数。这将导致每个id的单个计数（distinct）。
这是输出，我已经应用了针对行号的过滤器，您可以在输出中看到日期是最新的，即在我的例子中是2019。

newdf.select("id","date","row_num").where("row_num = 1").show()

+---+----------+-------+
| id|      date|row_num|
+---+----------+-------+
|  1|2019-05-03|      1|
|  3|2019-05-03|      1|
|  2|2019-05-03|      1|
+---+----------+-------+

现在我将使用相同的过滤器对newdf进行计数，该过滤器将返回按日期计算的计数。

newdf.groupBy("date","row_num").count().filter("row_num = 1").select("date","count").show

+----------+-----+
|      date|count|
+----------+-----+
|2019-05-03|    3|
+----------+-----+

这里的总计数是3，不包括以前日期的id，以前是6（因为在多个日期重复id）
我希望它能回答你的问题。