如何在mapreduce中编写伪代码?

hmae6n7t  于 2021-05-29  发布在  Hadoop
关注(0)|答案(1)|浏览(451)

假设,必须分析大量的web服务器访问日志。这些日志是文本文件,它们每行登记一个访问权限。第一列(用空格分隔)包含所访问页面的url。其目的是创建一个报告,列出所有的网址连同点击数。如何为每个步骤编写伪代码?

zysjyyx4

zysjyyx41#

基本上你所做的只是字数统计,但与网址。
直接从教程中删除“psudeocode”。

  1. class Mapper {
  2. final IntWritable ONE = new IntWritable(1);
  3. map(LongWritable key, Text value, Context context) {
  4. String[] columns = value.split(" ");
  5. String url = columns[0];
  6. context.write(url, ONE);
  7. }
  8. }
  9. class Reducer {
  10. IntWritable result = new IntWritable();
  11. reduce(Text key, Iterable<IntWritable> values, Context context) {
  12. int sum = sum(values);
  13. result.set(sum);
  14. context.write(key, result);
  15. }
  16. }
展开查看全部

相关问题