如何避免在生成多个字符串时出现内存不足错误?

knpiaxh1  于 2021-07-12  发布在  Spark
关注(0)|答案(1)|浏览(244)

我正在做一个基准测试任务,需要生成数百万行的事件json。
这是我的示例代码:

def generateEntry() = {
 s"""
    |{
    | "memberId": ${java.util.UUID.randomUUID.toString},
    | "first_name": ${nameRandomizer},
    | "last_name": ${nameRandomizer
    |}""".stripMargin
}

// Generate 1000000 rows of Json String with fields: memberId, first_name, last_name
val entryList = mutable.ListBuffer[String]()
for (_ <- 1 to 1000000) {
 entryList += generateEntry()
}

val inputRDD: RDD[String] = sc.parallelize(entryList.result())

但是,这会导致错误:

Java.lang.OutOfMemoryError: Java heap space
    at java.util.Arrays.copyOf(Arrays.java:3332)
    at java.lang.AbstractStringBuilder.ensureCapacityInternal(AbstractStringBuilder.java:124)
    at java.lang.AbstractStringBuilder.append(AbstractStringBuilder.java:448)
    at java.lang.StringBuilder.append(StringBuilder.java:136)
    at scala.StringContext.standardInterpolator(StringContext.scala:126)
    at scala.StringContext.s(StringContext.scala:95)

顺便说一下,我正在用spark编码。我试着分批做,但似乎还是出现了错误。请让我知道,或提供样本代码,我可以作为一个指南来解决这个问题。谢谢!

ctrmrzij

ctrmrzij1#

不需要列表缓冲区。您只需将spark范围Map到您的函数:

val inputRDD: RDD[String] = spark.range(1000000).rdd.map(x => generateEntry())

相关问题