我已经创建了一个数据库和一个表( table1
)使用sql语法并使用 spark.sql
:
spark.sql("CREATE TABLE table1...");
我还使用以下方法将csv文件数据加载到Dataframe中:
Dataset<Row> firstDF = spark.read().format("csv").load("C:/file.csv");
现在,我使用以下代码用csv数据填充现有表:
firstDF.toDF().writeTo("table1").append();
但是当我从 table1
:
Dataset<Row> firstDFRes = spark.sql("SELECT * FROM table1");
firstDFRes.show();
我得到的是空的(只有表的模式,没有数据),我的问题是如何用数据框填充现有的sql表?
ps:使用dataframereader的insertinto或saveastable将使用csv数据创建表,并将忽略sql创建的表的架构。
谢谢您。
暂无答案!
目前还没有任何答案,快来回答吧!