由于lnteger.max_int的bytebuffer限制，我在spark中读到了2gb的限制。我知道内存块大小不能超过这个限制，所以rdd分区中的任何记录都应该小于2gb。
但是我在这里读到（为什么spark rdd分区对hdfs有2gb的限制？）rdd分区本身不能超过2gb。重新划分成更小的分区是有效的。是真的吗？请帮我理解。。