scalaspark/shark:如何访问hortonworks中现有的配置单元表?

72qzrwbm  于 2021-06-03  发布在  Hadoop
关注(0)|答案(1)|浏览(386)

我想找一些关于这个问题的文档/描述,请帮忙。我已经从hortonworks安装了hadoop2.2.0和一些需要查询的现有配置单元表。配置单元sql在单节点和集群上的运行速度非常慢,而且速度也不合理。我希望鲨鱼能快点。
从spark/shark文档中,我不知道如何使shark与现有的配置单元表一起工作。有什么办法可以做到这一点吗?谢谢!

pkbketx9

pkbketx91#

您需要在特定于shark的配置单元目录中配置元存储。我在这里回答的一个类似问题提供了细节。
总之,您需要将hive-default.xml复制到hive-site.xml。然后确保设置了metastore属性。
以下是hive-site.xml中的基本信息

  1. <property>
  2. <name>javax.jdo.option.ConnectionURL</name>
  3. <value>jdbc:mysql://myhost/metastore</value>
  4. <description>the URL of the MySQL database</description>
  5. </property>
  6. <property>
  7. <name>javax.jdo.option.ConnectionDriverName</name>
  8. <value>com.mysql.jdbc.Driver</value>
  9. </property>
  10. <property>
  11. <name>javax.jdo.option.ConnectionUserName</name>
  12. <value>hive</value>
  13. </property>
  14. <property>
  15. <name>javax.jdo.option.ConnectionPassword</name>
  16. <value>mypassword</value>
  17. </property>

您可以在这里获得更多详细信息:配置配置单元元存储

展开查看全部

相关问题