spark1.3无法从hdfs1读取数据

ne5o7dgx  于 2021-05-29  发布在  Hadoop
关注(0)|答案(1)|浏览(489)

我正在使用spark1.3.1尝试从hdfs读取数据,如下所示:

val sc = new SparkContext(sparkConf)
val lines = sc.textFile("hdfs://192.168.0.104:9000/cur/part-r-02554")

我遇到了以下例外:

Exception in thread "main" java.io.IOException: Failed on local exception: 
com.google.protobuf.InvalidProtocolBufferException: Protocol message end-group
tag did not match expected tag.; Host Details : local host is: 
"hadoop104/192.1168.1.104"; destination host is: "hadoop104":9000;
9bfwbjaz

9bfwbjaz1#

试着找房子 fs.defaultFS 或者 fs.default.name 在你的 core-site.xml . 检查是否 192.168.0.104 配置为 value ,而不是 hostname .
如果主机名配置为 value ,这肯定会给你一个错误-因为这是非常严格遵循。或者,使用 core-site.xml 或者不使用ip/主机名,只需继续 hdfs:/cur/part-r-02554

相关问题