我找到了一个类似的帖子,但没用。
我已经与Cassandra工作了一段时间,现在我正在尝试设置Spark和SparkCassandra连接器。我使用intellij idea来实现这一点(第一次使用intellij idea和scala也是如此,你可以理解)
我的操作系统是Windows10。我就是这么做的:
内部../spark-2.4.5-bin-hadoop2.7/bin: spark-class.cmd org.apache.spark.deploy.master.Master
内部../spark-2.4.5-bin-hadoop2.7/bin: spark-class.cmd org.apache.spark.deploy.worker.Worker -c 1 spark://192.168.0.3:7077
构建.gradle
apply plugin: 'scala'
apply plugin: 'idea'
apply plugin: 'eclipse'
repositories {
mavenCentral()
}
idea {
project {
jdkName = '1.8'
languageLevel = '1.8'
}
}
dependencies {
compile group: 'org.apache.spark', name: 'spark-core_2.11', version: '2.4.5'
compile group: 'org.apache.spark', name: 'spark-sql_2.11', version: '2.4.5'
compile group: 'org.scala-lang', name: 'scala-library', version: '2.11.11'
compile group: 'com.datastax.spark', name: 'spark-cassandra-connector_2.11', version: '2.4.0'
}
configurations.all {
resolutionStrategy {
force 'com.google.guava:guava:12.0.1'
}
}
compileScala.targetCompatibility = "1.8"
compileScala.sourceCompatibility = "1.8"
sparkmodule.scala规范
package org.sentinel.spark_module
import org.apache.spark.{SparkConf, SparkContext}
import com.datastax.spark.connector._
object SentinelSparkModule {
def main(args: Array[String]) {
val conf = new SparkConf().set("spark.cassandra.connection.host", "127.0.0.1")
.set("spark.cassandra.connection.port", "9042")
.setAppName("Sentinel").setMaster("spark://192.168.0.3:7077")
val sc = new SparkContext(conf)
val rdd = sc.cassandraTable("keyspace", "table")
val values = rdd.groupBy((CassandraRow) => {
@throws[Exception]
def call(row: Nothing) = CassandraRow.getString("column")
}).take(10).foreach(println)
}
}
即使发生了错误,我仍然可以看到应用程序正在运行http://localhost:8080/直到我在ide中停止执行为止。
完整堆栈转储摘录:
线程“main”java.io.ioexception中出现异常:无法打开到cassandra的nativeconnection,位于{127.0.0.1}:9042
原因:com.datastax.driver.core.exceptions.nohostavailableexception:尝试查询的所有主机失败(尝试次数:/127.0.0.1:9042(com.datastax.driver.core.exceptions.operationtimedoutexception:[/127.0.0.1:9042]操作超时))
最后,即使它说它超时了,我也在从我的web应用程序(node.js)中查询cassandra,因为我正在编写代码,查询工作正常。所以,我不知道为什么Cassandra会有问题,但是,我想可能是的。
谢谢
编辑:
我包括在内 compile group: 'com.datastax.cassandra', name: 'cassandra-driver-core', version: '3.0.0'
同样的错误(版本兼容性表)
编辑: nodetool status
显示:
Datacenter: datacenter1
========================
Status=Up/Down
|/ State=Normal/Leaving/Joining/Moving
-- Address Load Tokens Owns (effective) Host ID Rack
UN 127.0.0.1 138.59 MiB 256 100.0% 77d808e6-5c57-494a-b6fb-7e73593dbb46 rack1
编辑: cqlsh 127.0.0.1 9042
显示:
WARNING: console codepage must be set to cp65001 to support utf-8 encoding on Windows platforms.
If you experience encoding problems, change your console codepage with 'chcp 65001' before starting cqlsh.
Connected to Test Cluster at 127.0.0.1:9042.
[cqlsh 5.0.1 | Cassandra 3.11.4 | CQL spec 3.4.4 | Native protocol v4]
Use HELP for help.
WARNING: pyreadline dependency missing. Install to enable tab completion.
cqlsh>
1条答案
按热度按时间kokeuurv1#
Cassandra也在跑步吗
192.168.0.3
? 你试过换衣服吗spark.cassandra.connection.host
至192.168.0.3
相反呢?您看到该错误的原因是因为您的spark执行器无法在上连接到cassandra127.0.0.1
. 我对你的设置一无所知,你可能已经尝试过了,但解决方案可能就这么简单。