我在hadoop集群上使用hadoop2.7.2、hbase 1.4.9、spark2.2.0、scala2.11.8和java1.8,该集群由一个主集群和两个从集群组成。
当我在启动集群后运行sparkshell时,它工作正常。我尝试通过以下教程使用scala连接到hbase:[https://www.youtube.com/watch?v=ggwb0kccdu0][1] .
但当我尝试像他那样运行sparkshell,添加那些jar-like参数时,我有一个错误:
spark shell--jars“hbase-annotations-1.4.9.jar,hbase-common-1.4.9.jar,hbase-protocol-1.4.9.jar,htrace-core-3.1.0-cubuating.jar,zookeeper-3.4.6.jar,hbase-client-1.4.9.jar,hbase-hadoop2-compat-1.4.9.jar,metrics-json-3.1.2.jar,hbase-server-1.4.9.jar”
<console>:14: error: not found: value spark
import spark.implicits._
^
<console>:14: error: not found: value spark
import spark.sql
^
在那之后,即使我注销并再次运行spark shell,我也会遇到同样的问题。有谁能告诉我是什么原因和如何解决它。
1条答案
按热度按时间pbossiut1#
在你的进口声明中
spark
应为类型的对象SparkSession
. 该对象应该是以前为您创建的。或者你需要自己创建它(阅读spark文档)。我没看你的辅导视频。关键是它不需要被调用
spark
. 例如,它可以被称为sparkSession
然后你就可以import sparkSession.implicits._