差不多两个小时了,我在火星上的Hive里和一个dynamodb工作台搏斗。我可以直接从Hive中检索表,但我现在需要从spark上的Hive中获取它。错误是:
pyspark.sql.utils.ParseException: u"\nOperation not allowed: STORED BY
我想我已经正确地注入了jars插件,我已经把它放在jars参数中,还尝试了spark-defaults.conf中的spark.driver.extraclasspath&spark.executor.extraclasspath
我的代码:
sqlContext.sql("CREATE EXTERNAL TABLE dynTable (idPlace string) STORED BY
'org.apache.hadoop.hive.dynamodb.DynamoDBStorageHandler' TBLPROPERTIES
('dynamodb.table.name' = 'MYTABLE', 'dynamodb.column.mapping' = 'idPlace:idPlace')")
你知道吗?
我用的是EMR5.5和Pypark
谢谢:)
暂无答案!
目前还没有任何答案,快来回答吧!