如何通过scala中的参数传递文本文件

vc9ivgsu  于 2021-05-17  发布在  Spark
关注(0)|答案(1)|浏览(349)

尝试将文本文件传递到函数中,以便在scala中执行某些操作,但我不知道如何将其传递到函数中。
我想通过它,因为我有多个文本文件和所做的工作是相当紧张

object SimpleApp {
  def main(args: Array[String]) {
    val conf = new SparkConf().setAppName("Simple Application")
    val sc = new SparkContext(conf)
val books = sc.textFile(
      "hdfs://quickstart.cloudera:8020/user/cloudera/books/books2/*"
    )
checkLang(books)

}

def checkLang (books: textFile)  = {

//do sonething

}
g6ll5ycj

g6ll5ycj1#

import org.apache.spark.rdd.RDD

def checkLang (books: RDD[String]){
//do stuff

}

相关问题