spark:scala how 读取具有特殊字符(如^m)的文件

m1m5dgzv  于 2021-05-27  发布在  Spark
关注(0)|答案(0)|浏览(439)

我使用的示例文件在每行末尾都有^m,而我正在尝试将该文件作为rdd读取,并尝试使用saveastextfile方法打印内容。将从每行中删除^m字符。有人知道如何解决这个问题吗。我使用的代码片段如下所述。

  1. val source_path = args(0) + File.separator
  2. val inputFileName = args(1)
  3. val outputFileName = args(2)
  4. val copyFileName = args(3)
  5. val source_rdd = sc.textFile(source_path + inputFileName)
  6. source_rdd.coalesce(1).saveAsTextFile(source_path)
  7. val part_file_name = fs.globStatus(new Path(source_path +
  8. "part*"))(0).getPath.getName
  9. fs.rename(new Path(source_path + part_file_name), new
  10. Path(source_path + outputFileName))

暂无答案!

目前还没有任何答案,快来回答吧!

相关问题