无法使用spark sql将数据插入hive elasticsearch索引

v1l68za4  于 2021-06-01  发布在  Hadoop
关注(0)|答案(0)|浏览(290)

我在hiveterminal中使用了以下步骤来插入elasticsearch索引-
创建 hive 指向elasticsearch索引的表
创建由'org.elasticsearch.hadoop.hive.esstoragehandler'tblproperty('es.resource=test/person','es.mapping=id')存储的外部表testèes(id string,name string);
创建临时表并将数据插入其中
创建表emp(id string,name string)行格式分隔字段,以','结尾;
将数据本地inpath'/home/monami/data.txt'加载到emp表中;
将暂存表中的数据插入配置单元elasticsearch索引
插入覆盖表test\u es select*from emp;
按照中的上述步骤,我可以成功地浏览hiveelasticsearch索引 hive CLI . 但是每当我尝试使用sparksql以同样的方式插入 hiveContext 对象,我得到以下错误-

java.lang.RuntimeException: java.lang.RuntimeException: class org.elasticsearch.hadoop.mr.EsOutputFormat$EsOutputCommitter not org.apache.hadoop.mapred.OutputCommitter

你能告诉我这个错误的原因吗?如果不可能使用spark以相同的方式插入,那么使用spark插入hive elasticsearch索引的方法是什么?
使用的版本-spark 1.6、scala 2.10、elasticsearch 6.4、hive 1.1

暂无答案!

目前还没有任何答案,快来回答吧!

相关问题