由于hadoop计数器的大小是有限制的(我们不想只为一个作业增加它),所以我正在创建一个map(map),如果满足某些条件(与计数器相同),它将增加键。已经有一个dofn(returning custom made object)正在处理数据,因此我有兴趣将一个Map传递给它,并根据键将它分组到外部。我认为concurrenthashmap可能可以工作,但无法实现相同的功能。
由于hadoop计数器的大小是有限制的(我们不想只为一个作业增加它),所以我正在创建一个map(map),如果满足某些条件(与计数器相同),它将增加键。已经有一个dofn(returning custom made object)正在处理数据,因此我有兴趣将一个Map传递给它,并根据键将它分组到外部。我认为concurrenthashmap可能可以工作,但无法实现相同的功能。
暂无答案!
目前还没有任何答案,快来回答吧!