我尝试读取具有固定字段的平面文件并将其插入表中。我发现这段代码允许我将记录拆分为列并为其分配一个标题,但是创建的数据框只有一个string类型的字段,当我将信息插入表时,会将所有内容插入一列。
df = sqlContext.read.text("wasbs://container@almacen.blob.core.windows.net/TEXTPSD.DAT")
df.select(
df.value.substr(1,12).alias('valor0'),
df.value.substr(13,9).alias('valor1'),
df.value.substr(22,12).alias('valor2'),
df.value.substr(34,80).alias('nombre')
).show()
df1 = DataFrameWriter(df)
df1.jdbc(url=url, table="tablaPsd", mode="overwrite", properties=properties)
在此处输入图像描述
我很感激你的帮助,谢谢。
暂无答案!
目前还没有任何答案,快来回答吧!