我用的是javaspark。我正在尝试写入外部hdfs目录,如下所示:
df.write().mode(mode).save("hdfs://myservername:8020/user/path/to/hdfs");
有个例外主机详细信息:本地主机是:。。。目标主机是:。。。如何从spark写入“external”hdfs目录而不是本地hadoop/hdfs?谢谢
r8xiu3jd1#
检查hdfs namenode主机名是否可以从spark cluster访问,您也可以使用ip地址。 hdfs://<HDFS_NAMENODE_IP>:8020/user/path/to/hdfs 也可以使用以下方法更新spark应用程序中的spark配置: spark.conf.set("fs.defaultFS", "hdfs://<HDFS_NAMENODE_IP>:8020/") .
hdfs://<HDFS_NAMENODE_IP>:8020/user/path/to/hdfs
spark.conf.set("fs.defaultFS", "hdfs://<HDFS_NAMENODE_IP>:8020/")
1条答案
按热度按时间r8xiu3jd1#
检查hdfs namenode主机名是否可以从spark cluster访问,您也可以使用ip地址。
hdfs://<HDFS_NAMENODE_IP>:8020/user/path/to/hdfs
也可以使用以下方法更新spark应用程序中的spark配置:spark.conf.set("fs.defaultFS", "hdfs://<HDFS_NAMENODE_IP>:8020/")
.