在编写spark应用程序时,我经常遇到帧太大的异常。为了找到处理这个问题的方法,我需要能够在齐柏林飞船或spark shell中重现异常,而不必等待几个小时。
我已经尝试创建一个随机整数的Dataframe,然后 repartition(1).show
但要么它返回一个结果,要么司机再也没有React。
我也知道这个问题与数据倾斜有很大关系,但与我需要重现异常的数据无关。
你能帮我重现这个异常吗?举个例子:
org.apache.spark.shuffle.FetchFailedException: Too large frame: 2222736257
at org.apache.spark.storage.ShuffleBlockFetcherIterator.throwFetchFailedException(ShuffleBlockFetcherIterator.scala:528)
at org.apache.spark.storage.ShuffleBlockFetcherIterator.next(ShuffleBlockFetcherIterator.scala:459)
at org.apache.spark.storage.ShuffleBlockFetcherIterator.next(ShuffleBlockFetcherIterator.scala:62)
暂无答案!
目前还没有任何答案,快来回答吧!