在sparksql2.2.1中从dynamodb表创建外部配置单元表

btxsgosb  于 2021-05-29  发布在  Hadoop
关注(0)|答案(0)|浏览(230)

我在从sparksql2.2.1执行以下配置单元查询时遇到问题。查询在hue中的配置单元编辑器中运行良好。我已经为dynamodb加载了jar(emr-dynamodb-hadoop-4.2.0.jar和emr-dynamodb-hive-4.2.0.jar)。
问题似乎出在语法上。我试过用这个,但运气不好。

CREATE EXTERNAL TABLE schema.table 
(name string, surname string, address string)
STORED BY 'org.apache.hadoop.hive.dynamodb.DynamoDBStorageHandler' 
TBLPROPERTIES (
"dynamodb.table.name" = "dynamodb-table", 
"dynamodb.column.mapping" = "name:name,surname:surname,address:address"
);

我可以运行这个:

CREATE  TABLE IF NOT EXISTS surge.threshold3 (name string, surname string, address string) USING hive
OPTIONS(
        INPUTFORMAT 'org.apache.hadoop.dynamodb.read.DynamoDBInputFormat',
        OUTPUTFORMAT 'org.apache.hadoop.dynamodb.write.DynamoDBOutputFormat'
)
TBLPROPERTIES (
        "dynamodb.table.name" = "dynamodb-table", 
        "dynamodb.column.mapping" = "name:name,surname:surname,address:address"
)
LOCATION ''

但是,我找不到找到dynamodb表位置的方法。它与定位hdfs或s3完全不同。
非常感谢您的帮助!

暂无答案!

目前还没有任何答案,快来回答吧!

相关问题