找不到错误值spark import spark.implicits.\uimport spark.sql

qgelzfjb  于 2021-05-27  发布在  Hadoop
关注(0)|答案(1)|浏览(508)

我在hadoop集群上使用hadoop2.7.2、hbase 1.4.9、spark2.2.0、scala2.11.8和java1.8,该集群由一个主集群和两个从集群组成。
当我在启动集群后运行sparkshell时,它工作正常。我尝试通过以下教程使用scala连接到hbase:[https://www.youtube.com/watch?v=ggwb0kccdu0][1] .
但当我尝试像他那样运行sparkshell,添加那些jar-like参数时,我有一个错误:
spark shell--jars“hbase-annotations-1.4.9.jar,hbase-common-1.4.9.jar,hbase-protocol-1.4.9.jar,htrace-core-3.1.0-cubuating.jar,zookeeper-3.4.6.jar,hbase-client-1.4.9.jar,hbase-hadoop2-compat-1.4.9.jar,metrics-json-3.1.2.jar,hbase-server-1.4.9.jar”

<console>:14: error: not found: value spark
       import spark.implicits._
              ^
<console>:14: error: not found: value spark
       import spark.sql
              ^

在那之后,即使我注销并再次运行spark shell,我也会遇到同样的问题。有谁能告诉我是什么原因和如何解决它。

pbossiut

pbossiut1#

在你的进口声明中 spark 应为类型的对象 SparkSession . 该对象应该是以前为您创建的。或者你需要自己创建它(阅读spark文档)。我没看你的辅导视频。
关键是它不需要被调用 spark . 例如,它可以被称为 sparkSession 然后你就可以 import sparkSession.implicits._

相关问题