hadoop测试示例来验证安装

xa9qqrwz  于 2021-06-04  发布在  Hadoop
关注(0)|答案(1)|浏览(296)

我已成功配置 Hadoop 2.4 在我的ubuntu上 14.04 使用本教程。
http://dogdogfish.com/2014/04/26/installing-hadoop-2-4-on-ubuntu-14-04/
现在在完成安装后,我如何对它进行测试?
如何以及在哪里可以获得测试数据或jar文件?

z3yyvxxp

z3yyvxxp1#

hadoop安装目录中有一些jar示例。
最简单的方法就是运行teragen示例(或wordcount)。这是执行terasort的第一步。
步骤:
转到hadoop安装目录。
运行“hadoopjar hadoop-examples-0.20.2-cdh3u0.jar”查看所有可以运行的jar。
转到home/[user]目录并创建一个文件“example.txt”,其中包含以下数据“这是一个为了实验而测试hadoop安装示例的文件,假设它是1tb”
当您在该目录中时,运行“hadoop dfs-put examples.txt/”将文件上传到您的hdfs
运行“hadoop dfs-ls/”检查它是否在那里
转到hadoop安装目录并运行“hadoop-jar hadoop-examples-0.20.2-cdh3u0.jar teragen 1000/user/teragendata”-1000是要分解的大小数据,另一个参数是输出目录。
成功执行后,您将看到类似于底部文本的内容。
现在要查看mr作业是如何运行的,请在浏览器中打开jobtracker并查看已完成的作业。“localhost50030/jobtracker.jsp“
cloudera@cloudera-vm:/usr/lib/hadoop$hadoop jar hadoop-examples-0.20.2-cdh3u0.jar teragen 600/user/teragendata
使用2张Map生成600,步长为300
14/07/24 09:02:44 info mapred.jobclient:正在运行作业:作业\u 201407230030 \u 0008
14/07/24 09:02:45 info mapred.jobclient:Map0%减少0%
14/07/24 09:02:57 info mapred.jobclient:Map100%减少0%
14/07/24 09:03:00 info mapred.jobclient:作业完成:作业\u 201407230030 \u 0008
14/07/24 09:03:00 info mapred.jobclient:计数器:13
14/07/24 09:03:00 info mapred.jobclient:作业计数器
14/07/24 09:03:00 info mapred.jobclient:slots\u millis\u maps=22008信息Map
14/07/24 09:03:00 info mapred.jobclient:所有用户在保留插槽后等待的总时间(毫秒)=0
14/07/24 09:03:00 info mapred.jobclient:所有Map在保留插槽后等待的总时间(毫秒)=0
14/07/24 09:03:00 info mapred.jobclient:launched map tasks=2
14/07/24 09:03:00 info mapred.jobclient:slots\u millis\u reduces=0
14/07/24 09:03:00 info mapred.jobclient:文件系统计数器
14/07/24 09:03:00 info mapred.jobclient:hdfs\u bytes\u read=164
14/07/24 09:03:00 info mapred.jobclient:文件\字节\写入=105150
14/07/24 09:03:00 info mapred.jobclient:hdfs\u bytes\u writed=60000
14/07/24 09:03:00 info mapred.jobclient:Mapreduce框架
14/07/24 09:03:00 info mapred.jobclient:Map输入记录=600
14/07/24 09:03:00 info mapred.jobclient:溢出的记录=0
14/07/24 09:03:00 info mapred.jobclient:Map输入字节=600
14/07/24 09:03:00 info mapred.jobclient:Map输出记录=600
14/07/24 09:03:00 info mapred.jobclient:拆分\u原始\u字节=164

相关问题