我正在做一个基准测试任务,需要生成数百万行的事件json。
这是我的示例代码:
def generateEntry() = {
s"""
|{
| "memberId": ${java.util.UUID.randomUUID.toString},
| "first_name": ${nameRandomizer},
| "last_name": ${nameRandomizer
|}""".stripMargin
}
// Generate 1000000 rows of Json String with fields: memberId, first_name, last_name
val entryList = mutable.ListBuffer[String]()
for (_ <- 1 to 1000000) {
entryList += generateEntry()
}
val inputRDD: RDD[String] = sc.parallelize(entryList.result())
但是,这会导致错误:
Java.lang.OutOfMemoryError: Java heap space
at java.util.Arrays.copyOf(Arrays.java:3332)
at java.lang.AbstractStringBuilder.ensureCapacityInternal(AbstractStringBuilder.java:124)
at java.lang.AbstractStringBuilder.append(AbstractStringBuilder.java:448)
at java.lang.StringBuilder.append(StringBuilder.java:136)
at scala.StringContext.standardInterpolator(StringContext.scala:126)
at scala.StringContext.s(StringContext.scala:95)
顺便说一下,我正在用spark编码。我试着分批做,但似乎还是出现了错误。请让我知道,或提供样本代码,我可以作为一个指南来解决这个问题。谢谢!
1条答案
按热度按时间ctrmrzij1#
不需要列表缓冲区。您只需将spark范围Map到您的函数: