我正在使用spark1.3.1尝试从hdfs读取数据,如下所示:
val sc = new SparkContext(sparkConf)
val lines = sc.textFile("hdfs://192.168.0.104:9000/cur/part-r-02554")
我遇到了以下例外:
Exception in thread "main" java.io.IOException: Failed on local exception:
com.google.protobuf.InvalidProtocolBufferException: Protocol message end-group
tag did not match expected tag.; Host Details : local host is:
"hadoop104/192.1168.1.104"; destination host is: "hadoop104":9000;
1条答案
按热度按时间9bfwbjaz1#
试着找房子
fs.defaultFS
或者fs.default.name
在你的core-site.xml
. 检查是否192.168.0.104
配置为value
,而不是hostname
.如果主机名配置为
value
,这肯定会给你一个错误-因为这是非常严格遵循。或者,使用core-site.xml
或者不使用ip/主机名,只需继续hdfs:/cur/part-r-02554