java.lang.classnotfoundexception:org.apache.spark.logging

g6ll5ycj  于 2021-06-26  发布在  Hive
关注(0)|答案(1)|浏览(642)

我刚刚升级到spark 2.1.0,决定用beeline测试我的数据,但由于某些原因,它给了我:
错误:org.spark\u project.guava.util.concurrent.uncheckedexecutionexception:java.lang.classnotfoundexception:org.apache.spark.logging在spark 2.0中被删除。请检查您的库是否与spark 2.0兼容(状态=,代码=0)
我重新命名了旧目录,所以所有文件都是新的。我不是在运行我自己的代码,而是spark自带的beeline。
以下是我遵循的步骤:

cd /usr/local/spark
./sbin/start-thriftserver.sh --master spark://REMOVED:7077 --num-executors 2 --driver-memory 6G --executor-cores 6 --executor-memory 14G --hiveconf hive.server2.thrift.port=10015 --packages datastax:spark-cassandra-connector:1.6.4-s_2.11 --conf spark.cassandra.connection.host=REMOVED --conf spark.cassandra.auth.username=REMOVED --conf spark.cassandra.auth.password=REMOVED
./bin/beeline -u jdbc:hive2://REMOVED:10015

所以我不太清楚现在该怎么办,有什么建议吗?

dz6r00yl

dz6r00yl1#

你需要更新 datastax:spark-cassandra-connector 也。请尝试:

--packages datastax:spark-cassandra-connector:2.0.0-M3-s_2.11

相关问题