如何在hadoop中计数？

svgewumm 于 2021-07-15 发布在 Hadoop

关注(0)|答案(1)|浏览(313)

这个问题在这里已经有答案了：

在Pypark里怎么算[关闭]（2个答案）
4个月前关门了。
我有一大堆书名。我要计算整个数据集中的每个标题。例如：

`title`

A
b
A
c
c
c

输出：

title fre
    A   2
    b   1
    c   3

我正在寻找一种在hadoop中快速使用reduce函数的方法。我知道以下方法：

import pyspark.sql.functions as f
df.groupBy('title').agg(f.count('*').alias('count')).show()

我还需要得到少于10次出现的标题。

hadoop apache-spark pyspark reduce count

来源：https://stackoverflow.com/questions/65670484/how-to-count-in-hadoop

1条答案

按热度按时间

5fjcxozz1#

如果您想使用RDD，可以尝试以下代码：

grouped_rdd = (df.rdd.map(lambda r: (r[0], 1))
                 .reduceByKey(lambda x, y: x + y)
                 .sortBy(lambda r: -r[1])    # descending order; remove - if ascending.
                 .take(10)
              )

grouped_df = spark.createDataFrame(grouped_rdd, ['title', 'count'])

但我不确定这是否会比 df.groupBy('title').count() .

赞(0）回复(0）举报 2021-07-15

我来回答

如何在hadoop中计数？

1条答案

相关问题

热门标签

最新问答