回答你的问题
我在sparkDataframe中读取一个文件，我们是按列还是按行验证它，通过哪种方式获得最佳性能？
dataframe是一个分布式数据集合，它被组织为分布在集群中的一组行，spark中定义的大部分转换都应用于处理row对象的行。

Psuedo code
 import spark.implicits._
  val schema = spark.read.csv(ip).schema

  spark.read.textFile(inputFile).map(row => {
      val errorInfo : Seq[(Row,String,Boolean)] = Seq()
      val data = schema.foreach(f => {
        // f.dataType //get field type and have custom logic on field type
        // f.name // get field name i.e., column name
        // val fieldValue = row.getAs(f.name) //get field value and have check's on field value on field type
        // if any error in field value validation then populate @errorInfo info object i.e (row,"error_info",false)
        // otherwise i.e (row,"",true)
      })
      data.filter(x => x._3).write.save(correctLoc)
      data.filter(x => !x._3).write.save(errorLoc)
    })