如果你只需要找出数据中的行数。可以使用以下命令：

hdfs dfs -cat /bdatest/clm/data/part-* | wc -l

也可以用identity mapper编写一个简单的mapreduce程序，将输入作为输出输出。然后检查计数器并找到Map器的输入记录。这将是数据中的行数。

如果您有一个非常大的文件，其行内容大致相同（我可以想象一个json或一个日志条目），并且您不关心精度，那么您可以计算它。
例如，我将原始json存储在一个文件中：
文件大小：750mo第一行大小：752个字符（=>752个八位字节）
行=>约1.020.091
跑步 cat | wc -l 给出1.018.932
还不错^^

hadoop一行：

hadoop fs -cat /bdatest/clm/data/part-* | wc -l

资料来源：http://www.sasanalysis.com/2014/04/10-popular-linux-commands-for-hadoop.html
另一种方法是创建一个map reduce作业，其中mapper为每行发出1，reducer对值求和。请参阅编写mapreduce代码的公认答案以了解解决方案的记录数。

您可以使用hadoop流来解决这个问题。
您可以这样运行它：

hadoop jar /opt/cloudera/parcels/CDH/lib/hadoop-mapreduce/hadoop-streaming-2.6.0-cdh5.11.0.jar -input <dir> -output <dir> counter_mapper.py -reducer counter_reducery -file counter_mapper.py -file counter_reducer.py

计数器Map器.py

# !/usr/bin/env python

import sys
count = 0

for line in sys.stdin:
    count = count + 1

print count

计数器\u.py

# !/usr/bin/env python

import sys
count = 0

for line in sys.stdin:
    count = count +int(line)

print count

更有效地——你可以使用spark来计算行数。下面的代码段有助于计算行数。

text_file = spark.textFile("hdfs://...")
count = text_file.count();
count.dump();

显示行数。 Note: The data in different part files will not overlap 使用 hdfs dfs -cat /bdatest/clm/data/part-* | wc -l 也会给你的输出，但这将转储所有的数据到本地机器，需要更长的时间。
最好的解决方案是使用mapreduce或spark。mapreduce的开发和执行将花费较长的时间。如果安装了Spark，这是最好的选择。

这是一个非常常见的任务，我希望在fs中有一个子命令来完成它（例如。 hadoop fs -wc -l inputdir )避免将所有内容流式传输到执行“wc-l”命令的一台计算机。
为了有效地计算行数，我经常使用hadoop流和unix命令，如下所示：

hadoop jar ${HADOOP_HOME}/hadoop-streaming.jar \
  -Dmapred.reduce.tasks=1 \
  -input inputdir \
  -output outputdir \
  -mapper "bash -c 'paste <(echo "count") <(wc -l)'" \
  -reducer "bash -c 'cut -f2 | paste -sd+ | bc'"

每个Map器将运行“wc-l”的部分，它有，然后一个单一的减速机将汇总所有Map器的计数。