使用spark上的配置单元Mapdynamodb表时出错

vyu0f0g1  于 2021-06-26  发布在  Hive
关注(0)|答案(0)|浏览(243)

差不多两个小时了,我在火星上的Hive里和一个dynamodb工作台搏斗。我可以直接从Hive中检索表,但我现在需要从spark上的Hive中获取它。错误是:

pyspark.sql.utils.ParseException: u"\nOperation not allowed: STORED BY

我想我已经正确地注入了jars插件,我已经把它放在jars参数中,还尝试了spark-defaults.conf中的spark.driver.extraclasspath&spark.executor.extraclasspath
我的代码:

sqlContext.sql("CREATE EXTERNAL TABLE dynTable (idPlace string) STORED BY 
'org.apache.hadoop.hive.dynamodb.DynamoDBStorageHandler' TBLPROPERTIES 
('dynamodb.table.name' = 'MYTABLE',  'dynamodb.column.mapping' = 'idPlace:idPlace')")

你知道吗?
我用的是EMR5.5和Pypark
谢谢:)

暂无答案!

目前还没有任何答案,快来回答吧!

相关问题