我有一个csv文件,如下所示:
product price,product origin,phone number
20,US,200200
我想使用新模式加载csv文件,这样我的数据集看起来就像这样:
|price | origin | number |
|20 | US | 200200 |
我尝试使用structfield
创建模式:
sparkSession.read().format("csv")
.option("header", "false")
.option("delimiter", ",")
.schema(myScheme).load(csv)
但我得到是这样的:
|price | origin | number |
|200200 | US | 20 |
用正确列顺序的新方案加载csv的正确方法是什么?
1条答案
按热度按时间jw5wzhpr1#
使用包含您在问题中发布的确切内容的csv文件:
您应该能够使用
org.apache.spark.sql.types._
中的类型创建架构。您可以执行以下操作:希望这对你有帮助!