我的代码是:
val df = sqlContext.read
.format("com.databricks.spark.xml")
.option("rowTag", header)
.load("/input/du3_init.dat")
val dfCI2 = df.select("CI2")
dfCI2.printSchema()
val path="hdfs://nameservice/user/CI2_Schema"
new PrintWriter(path) { write(dfCI2.schema.treeString);close}
当我在星火中执行时,我得到了
Exception in thread "main" java.io.FileNotFoundException: hdfs:/nameservice/user/CI2_Schema (No such file or directory)
at java.io.FileOutputStream.open(Native Method)
at java.io.FileOutputStream.<init>(FileOutputStream.java:221)
at java.io.FileOutputStream.<init>(FileOutputStream.java:110)
异常中显示的hdfs路径中只存在一个斜杠。如何解决这个问题?。提前谢谢
1条答案
按热度按时间klr1opcd1#
如果你想写信给
hdfs
,不能使用PrintWriter
. printwriter不应该理解网络路径,例如hdfs://
或者ftp://
. 它与本地文件系统一起工作。你可以写信给
hdfs
通过得到hdfs
配置窗体spark上下文。