spark:scala how 读取具有特殊字符(如^m)的文件

m1m5dgzv  于 2021-05-27  发布在  Spark
关注(0)|答案(0)|浏览(384)

我使用的示例文件在每行末尾都有^m,而我正在尝试将该文件作为rdd读取,并尝试使用saveastextfile方法打印内容。将从每行中删除^m字符。有人知道如何解决这个问题吗。我使用的代码片段如下所述。

val source_path = args(0) + File.separator
    val inputFileName = args(1)
    val outputFileName = args(2)
    val copyFileName = args(3)
    val source_rdd = sc.textFile(source_path + inputFileName)
    source_rdd.coalesce(1).saveAsTextFile(source_path)
    val part_file_name = fs.globStatus(new Path(source_path + 
    "part*"))(0).getPath.getName
    fs.rename(new Path(source_path + part_file_name), new 
    Path(source_path + outputFileName))

暂无答案!

目前还没有任何答案,快来回答吧!

相关问题