在macosx上使用apacheshark运行查询

7xllpg7q  于 2021-06-03  发布在  Hadoop
关注(0)|答案(1)|浏览(356)

我在macosx10.8本地运行shark查询时遇到问题。我正在尝试对存储在配置单元中的数据运行一些测试查询。我使用的是Scala2.9.3和Hive0.9.0,两者都运行良好。配置单元数据库正在使用mysql存储元数据。
我可以很好的启动鲨鱼。我可以在shark控制台的hive中看到我的所有数据库。我可以切换到所需的数据库。但是当我试图查询数据时,我会出错。
简单查询如下所示:

  1. select * from table limit 100;

错误如下所示:

  1. 25.351: [Full GC 98320K->17564K(1013632K), 0.1279630 secs]
  2. java.lang.NoSuchMethodError: org.apache.hadoop.hive.shims.HadoopShims.isLocalMode(Lorg/apache/hadoop/conf/Configuration;)Z
  3. at shark.execution.FileSinkOperator.execute(FileSinkOperator.scala:123)
  4. at shark.execution.SparkTask.execute(SparkTask.scala:101)
  5. at org.apache.hadoop.hive.ql.exec.Task.executeTask(Task.java:134)
  6. at org.apache.hadoop.hive.ql.exec.TaskRunner.runSequential(TaskRunner.java:57)
  7. at org.apache.hadoop.hive.ql.Driver.launchTask(Driver.java:1326)
  8. at org.apache.hadoop.hive.ql.Driver.execute(Driver.java:1118)
  9. at org.apache.hadoop.hive.ql.Driver.run(Driver.java:951)
  10. at shark.SharkCliDriver.processCmd(SharkCliDriver.scala:294)
  11. at org.apache.hadoop.hive.cli.CliDriver.processLine(CliDriver.java:406)
  12. at org.apache.hadoop.hive.cli.CliDriver.processLine(CliDriver.java:341)
  13. at shark.SharkCliDriver$.main(SharkCliDriver.scala:203)
  14. at shark.SharkCliDriver.main(SharkCliDriver.scala)
  15. FAILED: Execution Error, return code -101 from shark.execution.SparkTask
jm81lzqq

jm81lzqq1#

这看起来像是最近加入的鲨鱼密码,https://github.com/amplab/shark/pull/140/files 也许不是用Hive0.9测试的?
当前 HadoopShims.java 有没有 isLocalMode() ,但是Hive0.9 HadoopShims.java 没有 isLocalMode() 方法。
我建议至少使用Hive0.10,如果可以的话,最好使用最近的0.12。

相关问题