spark sql:illegalargumentexception:错误的fs,应输入:文件:///

jvidinwx  于 2021-06-02  发布在  Hadoop
关注(0)|答案(0)|浏览(221)

我尝试通过sparksql终端将数据放入配置单元表中。
我基于avro模式创建了表。avsc:

CREATE TABLE test_table
  ROW FORMAT SERDE
  'org.apache.hadoop.hive.serde2.avro.AvroSerDe'
  STORED AS INPUTFORMAT
  'org.apache.hadoop.hive.ql.io.avro.AvroContainerInputFormat'
  OUTPUTFORMAT
  'org.apache.hadoop.hive.ql.io.avro.AvroContainerOutputFormat'
  TBLPROPERTIES (
    'avro.schema.url'='file:///C:/some_dir/table_schema.avsc');

然后我尝试从存储在hdfs中的avro文件加载数据:

LOAD DATA INPATH 'hdfs://localhost:9000/data/test_table.avro' OVERWRITE INTO TABLE test_table;

我得到一个错误:

Error in query: java.lang.IllegalArgumentException: Wrong FS: hdfs://localhost:9000/data/test_table.avro, expected: file:///;

当我试图从本地文件系统加载它的工作。
还有my core-site.xml:

<configuration>
    <property>
        <name>fs.defaultFS</name>
        <value>hdfs://localhost:9000</value>
        <final>true</final>
        <description>NameNode URI</description>
    </property>
</configuration>

如何从存储在hdfs中的文件加载数据?

暂无答案!

目前还没有任何答案,快来回答吧!

相关问题