我在从sparksql2.2.1执行以下配置单元查询时遇到问题。查询在hue中的配置单元编辑器中运行良好。我已经为dynamodb加载了jar(emr-dynamodb-hadoop-4.2.0.jar和emr-dynamodb-hive-4.2.0.jar)。
问题似乎出在语法上。我试过用这个,但运气不好。
CREATE EXTERNAL TABLE schema.table
(name string, surname string, address string)
STORED BY 'org.apache.hadoop.hive.dynamodb.DynamoDBStorageHandler'
TBLPROPERTIES (
"dynamodb.table.name" = "dynamodb-table",
"dynamodb.column.mapping" = "name:name,surname:surname,address:address"
);
我可以运行这个:
CREATE TABLE IF NOT EXISTS surge.threshold3 (name string, surname string, address string) USING hive
OPTIONS(
INPUTFORMAT 'org.apache.hadoop.dynamodb.read.DynamoDBInputFormat',
OUTPUTFORMAT 'org.apache.hadoop.dynamodb.write.DynamoDBOutputFormat'
)
TBLPROPERTIES (
"dynamodb.table.name" = "dynamodb-table",
"dynamodb.column.mapping" = "name:name,surname:surname,address:address"
)
LOCATION ''
但是,我找不到找到dynamodb表位置的方法。它与定位hdfs或s3完全不同。
非常感谢您的帮助!
暂无答案!
目前还没有任何答案,快来回答吧!