我正在用spark-df读取spark中的csv文件。文件没有头列,但我想有头列。怎么做?我不知道我是否正确,我写了这个命令->val df=spark.read.format(“csv”).load(“/path/genchan1.txt”).show()
列的列名分别为_c0和_c1。然后我尝试使用:val df1=df.withcolumnrenamed(“\u c0”,“series”)将列名更改为所需的名称,但我得到的结果是“withcolumnrenamed”不是单元上的成员。
ps:我已经导入了spark.implicits.\和spark.sql.functions。
请帮助我知道是否有任何方法添加一个列标题到数据集,为什么我得到这个问题。
2条答案
按热度按时间6yjfywim1#
返回类型
show
是Unit
. 请删除show
从最后开始。然后可以使用所有df功能-
flseospp2#
如果您事先知道csv文件的结构,那么在向其加载数据时定义一个模式并将其附加到df是一个更好的解决方案。
快速参考的示例代码-