scala—从avro文件读取数据并写入impala表

rnmwe5a2  于 2021-06-26  发布在  Impala
关注(0)|答案(0)|浏览(349)

我正在工作的项目以avro文件的形式接收数据。我正在用scala编写一个通用代码(使用scalaide)来读取文件夹中的所有avro文件,并为每个avro文件创建一个表。
我将avro文件数据作为Dataframe读取,并使用下面的代码将其写回impala数据库(使用jdbc)。

df.write.mode("overwrite").format("jdbc").options(jdbcOptions).saveAsTable("table1")

当我执行这段代码时,我收到一个create语句错误。

[Cloudera][ImpalaJDBCDriver](500051) ERROR processing query/statement. 
Error Code: 0, 
SQL state: TStatus(statusCode:ERROR_STATUS, sqlState:HY000,
errorMessage:AnalysisException: Syntax error in line 1:
...table1 ("col_message_key" DECIMAL(12,0)...

我希望代码创建一个名为“table1”的表
你能帮我做这个吗?

暂无答案!

目前还没有任何答案,快来回答吧!

相关问题