我有一个2从节点的小型集群hadoop系统，并试图做一些测试。系统已经成功地用hadoop2.6.0进行了配置，我已经对它进行了wordcount测试。除了wordcount，还有其他好的测试例子吗(也许更实际的测试（处理更大的数据）是用开源代码？我已经看过google搜索中的大多数例子，但是要么hadoop版本太旧，要么没有源代码来测试它们。我喜欢这样一个：使用hadoop来分析完整的wikipedia转储文件，尽管hadoop版本已经过时了。如果有人知道有一个更新的版本，将是伟大的（任何类似的将是好的）。。。蒂亚！
1条答案
按热度按时间ttisahbt1#
我正在一个项目中演示hadoopmapreduce框架中的不同特性。它仍在进行中，但有不同版本的wordcount作业使用现代api（java和hadoop）。
它包括生成测试输入文件的util。但只要做些小改动，就可以用它来处理自己的测试文件。例如，在Map器中修改跟随线以使用空格或逗号进行拆分。
https://github.com/lalosam/hadoopinexamples