如何使用pyspark将读取的csv文件显示到正确的文件夹中?

yftpprvb  于 2023-11-14  发布在  Spark
关注(0)|答案(1)|浏览(168)

我试图从本地文件读取CSV文件,并显示需要应用SQL的数据。在这里,我能够从文件夹中读取文件,但在显示DF时,它仍然是不可读的格式(截图附后)。我尝试了下面的代码来读取和显示DF。你能帮我克服这个问题吗?谢谢。


的数据

  1. from pyspark.sql import SparkSession
  2. sc = SparkSession.builder.appName('PySpark Session').getOrCreate()
  3. df = sc.read.option("header",True).csv("C:/Users/l/Desktop/data.csv")
  4. df.show()
  5. another method :
  6. df = sc.read.format('com.databricks.spark.csv').options(header='true', inferschema='true').load('C:/Users/l/Desktop/data.csv')

字符串

piah890a

piah890a1#

看起来你的编码有问题
尝试将另一个.optionencoding = 'UTF-8'链接:

  1. df = sc.read.option("header",True).option("encoding", "UTF-8").csv("C:/Users/l/Desktop/data.csv")

字符串

相关问题