如何使用pyspark dataframe读取固定字段文件并将其插入数据库?

91zkwejq  于 2021-07-13  发布在  Java
关注(0)|答案(0)|浏览(186)

我尝试读取具有固定字段的平面文件并将其插入表中。我发现这段代码允许我将记录拆分为列并为其分配一个标题,但是创建的数据框只有一个string类型的字段,当我将信息插入表时,会将所有内容插入一列。

df = sqlContext.read.text("wasbs://container@almacen.blob.core.windows.net/TEXTPSD.DAT")
df.select(
    df.value.substr(1,12).alias('valor0'),
    df.value.substr(13,9).alias('valor1'),
    df.value.substr(22,12).alias('valor2'),
    df.value.substr(34,80).alias('nombre')
).show()
df1 = DataFrameWriter(df)
df1.jdbc(url=url, table="tablaPsd", mode="overwrite", properties=properties)

在此处输入图像描述
我很感激你的帮助,谢谢。

暂无答案!

目前还没有任何答案,快来回答吧!

相关问题