java—在apache crunch中,如何找出pcollection或ptable中是否包含任何元素?如果是,有多少?

nszi6y05  于 2021-05-30  发布在  Hadoop
关注(0)|答案(2)|浏览(519)

我试着在监视窗口中放置一个断点并执行以下操作:check.getsize(),它应该返回字节大小。和.materialize()来查看是否可以查看java对象。
getsize()确实显示了一个大于0的数字,但我怀疑这是否应该是ptable包含元素的指示符。.materialize()没有显示任何指示元素存在的内容。
提前谢谢。

vxbzzdmp

vxbzzdmp1#

我有时会遇到这个问题,像materialize这样的api方法并不能给出令人满意的结果。我建议创建一个简单的dofn,将这个pcollection作为输入,并使用记录器查看它是否有元素。pcollection getsize()方法将有助于了解它有多少元素。

l7wslrjt

l7wslrjt2#

而不是依靠 PCollection.size() 方法来检查集合是否为空,应该使用 PCollection.length() ,这正是你所需要的。

相关问题