我用的是javaspark。我正在尝试写入外部hdfs目录，如下所示：
df.write().mode(mode).save("hdfs://myservername:8020/user/path/to/hdfs");
有个例外主机详细信息：本地主机是：。。。目标主机是：。。。如何从spark写入“external”hdfs目录而不是本地hadoop/hdfs？谢谢
r8xiu3jd1#
检查hdfs namenode主机名是否可以从spark cluster访问，您也可以使用ip地址。 hdfs://<HDFS_NAMENODE_IP>:8020/user/path/to/hdfs 也可以使用以下方法更新spark应用程序中的spark配置： spark.conf.set("fs.defaultFS", "hdfs://<HDFS_NAMENODE_IP>:8020/") .
hdfs://<HDFS_NAMENODE_IP>:8020/user/path/to/hdfs
spark.conf.set("fs.defaultFS", "hdfs://<HDFS_NAMENODE_IP>:8020/")
1条答案
按热度按时间r8xiu3jd1#
检查hdfs namenode主机名是否可以从spark cluster访问，您也可以使用ip地址。
hdfs://<HDFS_NAMENODE_IP>:8020/user/path/to/hdfs也可以使用以下方法更新spark应用程序中的spark配置：spark.conf.set("fs.defaultFS", "hdfs://<HDFS_NAMENODE_IP>:8020/").