我是Spark和aws里的一个笨蛋。
我在aws有一张dynamodbtable。我用hive在emr上创建了一个Spark簇。使用hiveshell，我创建了外部表“rawdata”以连接到dynamodb。
现在当我用dynamodb依赖jars启动sparkshell时 --jars /usr/share/aws/emr/ddb/lib/emr-ddb-hive.jar,/usr/share/aws/emr/ddb/lib/emr-ddb-hadoop.jar 我可以用hivecontext查询表“rawdata”并得到结果。但是当我用spark submit提交spark程序时，我在终端中看到了一些spark异常，在日志中我发现：“org.apache.spark.sql.analysisexception:no such table rawdata”。
以下是创建群集的方法： aws emr create-cluster --name MyCluster --release-label emr-4.0.0 --applications Name=Spark Name=Hive ... 请告诉我做错了什么。列夫
1条答案
按热度按时间oxalkeyp1#
我找到了submit命令中缺少的内容。我不得不补充一句
--files /etc/hive/conf/hive-site.xml作为spark submit的论点之一。