错误来了，因为 sc: SparkContext 本质上是不可序列化的。spark将尝试发送整个scalajob以关闭，其中包括 sc . 问题就出在这里。解决办法是 sc @transient 你的班级定义应该是这样的

class ScalaJob(@transient sc: SparkContext ) extends Serializable { }

里面有没有密码 RDD.map 在这种情况下 file.map 将序列化并发送给执行者。因此，要实现这一点，代码应该是可序列化的。在本例中，您使用了 processDate 这在别处有定义。确保在其中定义方法的类是可序列化的。注意：您需要使整个依赖链可序列化。一个快速的选择是绑定 processDate 将val作为函数并在内部使用它 RDD . 或者在对象中定义方法。例子：

class ScalaJob(sc: SparkContext) {
  def run(filePath: String): RDD[(String, String, String)] = {
    //pass the file
    val file = sc.textFile(filePath);
   //find values in every raw
    val process = processDate _
    val values = file.map {
      dataRaw =>
        val p = dataRaw.split("[|]", -1)
        (p(1), process(p(2)), p(32))
    }
  }
}

有关详细信息，请参阅spark任务不可序列化