我需要使用spark在查询另一个索引的基础上处理大量文本文件中的数据。我可以在很小的情况下这样做（通过将rdd转换为数组/请参见下文），但是在设置它以处理大量数据时遇到了困难。
我有这个：

val rootPath = "..."
val ndxRDD = sc.textFile(rootPath + "index/2016-09-01*")

def ndxToDoc(articleName: String): String = { sc.textFile(rootPath + articleName).first(); }

// works
val artcilesArr = ndxRDD.collect().map(ndxToDoc);
val articlesRDD = sc.parallelize(articlesArr)

// does not work
// val articlesRDD = ndxRDD.map(ndxToDoc)

articlesRDD.count()

我相信问题是我试图读取rdd中的文件。我如何让上述工作没有中间人 collect() - map -> textFile() - parallelize() 设置？
提前谢谢！