尝试写入hdfs时出错：服务器ipc版本9无法与客户端版本4通信

83qze16e 于 2021-06-02 发布在 Hadoop

关注(0)|答案(3)|浏览(441)

我正在尝试使用scala将一个文件写入hdfs，我不断得到以下错误

Caused by: org.apache.hadoop.ipc.RemoteException: Server IPC version 9 cannot communicate with client version 4
at org.apache.hadoop.ipc.Client.call(Client.java:1113)
at org.apache.hadoop.ipc.RPC$Invoker.invoke(RPC.java:229)
at com.sun.proxy.$Proxy1.getProtocolVersion(Unknown Source)
at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method)
at sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:57)
at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:43)
at java.lang.reflect.Method.invoke(Method.java:606)
at org.apache.hadoop.io.retry.RetryInvocationHandler.invokeMethod(RetryInvocationHandler.java:85)
at org.apache.hadoop.io.retry.RetryInvocationHandler.invoke(RetryInvocationHandler.java:62)
at com.sun.proxy.$Proxy1.getProtocolVersion(Unknown Source)
at org.apache.hadoop.ipc.RPC.checkVersion(RPC.java:422)
at org.apache.hadoop.hdfs.DFSClient.createNamenode(DFSClient.java:183)
at org.apache.hadoop.hdfs.DFSClient.<init>(DFSClient.java:281)
at org.apache.hadoop.hdfs.DFSClient.<init>(DFSClient.java:245)
at org.apache.hadoop.hdfs.DistributedFileSystem.initialize(DistributedFileSystem.java:100)
at org.apache.hadoop.fs.FileSystem.createFileSystem(FileSystem.java:1446)
at org.apache.hadoop.fs.FileSystem.access$200(FileSystem.java:67)
at org.apache.hadoop.fs.FileSystem$Cache.get(FileSystem.java:1464)
at org.apache.hadoop.fs.FileSystem.get(FileSystem.java:263)
at bcomposes.twitter.Util$.<init>(TwitterStream.scala:39)
at bcomposes.twitter.Util$.<clinit>(TwitterStream.scala)
at bcomposes.twitter.StatusStreamer$.main(TwitterStream.scala:17)
at bcomposes.twitter.StatusStreamer.main(TwitterStream.scala)
at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method)
at sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:57)
at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:43)
at java.lang.reflect.Method.invoke(Method.java:606)

我按照本教程安装了hadoop。下面的代码是我用来向hdfs插入示例文件的代码。

val configuration = new Configuration();
val hdfs = FileSystem.get( new URI( "hdfs://192.168.11.153:54310" ), configuration );
val file = new Path("hdfs://192.168.11.153:54310/s2013/batch/table.html");
if ( hdfs.exists( file )) { hdfs.delete( file, true ); } 
val os = hdfs.create( file);
val br = new BufferedWriter( new OutputStreamWriter( os, "UTF-8" ) );
br.write("Hello World");
br.close();
hdfs.close();

hadoop版本是2.4.0，我使用的hadoop库版本是1.2.1。我应该做些什么改变才能使这项工作顺利进行？

hadoop hdfs scala

来源：https://stackoverflow.com/questions/23634985/error-when-trying-to-write-to-hdfs-server-ipc-version-9-cannot-communicate-with

3条答案

按热度按时间

t98cgbkg1#

hadoop 以及
spark version s应该是同步的(就我而言，我和 spark-1.2.0 以及 hadoop 2.2.0 )
步骤1-转到 $SPARK_HOME 第2步-简单 mvn build Spark与版本 hadoop 你想要的客户，

mvn -Pyarn -Phadoop-2.2 -Dhadoop.version=2.2.0 -DskipTests clean package

第3步-spark项目也应该有合适的spark版本，

name := "smartad-spark-songplaycount"
version := "1.0"
scalaVersion := "2.10.4"
//libraryDependencies += "org.apache.spark" %% "spark-core" % "1.1.1"
libraryDependencies += "org.apache.spark" % "spark-core_2.10" % "1.2.0"
libraryDependencies += "org.apache.hadoop" % "hadoop-client" % "2.2.0"
libraryDependencies += "org.apache.hadoop" % "hadoop-hdfs" % "2.2.0"
resolvers += "Akka Repository" at "http://repo.akka.io/releases/"

参考文献

用mvn构建apachespark

展开查看全部

赞(0）回复(0）举报 2021-06-03

kupeojn62#

如错误消息中所述 Server IPC version 9 cannot communicate with client version 4 你的服务器的版本比你的客户机要新得多。你要么降级你的hadoop集群（很可能不是一个选项），要么升级你的客户机库 1.2.1 到2.x版本。

赞(0）回复(0）举报 2021-06-03

waxmsbnn3#

我在使用hadoop 2.3时也遇到了同样的问题，通过在build.sbt文件中添加以下行，我已经解决了这个问题：

libraryDependencies += "org.apache.hadoop" % "hadoop-client" % "2.3.0"
libraryDependencies += "org.apache.hadoop" % "hadoop-hdfs" % "2.3.0"

所以我认为在你的案例中，你使用的是2.4.0版本。
附言：它也适用于你的代码样本。我希望这会有帮助

赞(0）回复(0）举报 2021-06-03

我来回答

尝试写入hdfs时出错：服务器ipc版本9无法与客户端版本4通信

3条答案

参考文献

相关问题

热门标签

最新问答