我尝试通过sparksql终端将数据放入配置单元表中。
我基于avro模式创建了表。avsc:
CREATE TABLE test_table
ROW FORMAT SERDE
'org.apache.hadoop.hive.serde2.avro.AvroSerDe'
STORED AS INPUTFORMAT
'org.apache.hadoop.hive.ql.io.avro.AvroContainerInputFormat'
OUTPUTFORMAT
'org.apache.hadoop.hive.ql.io.avro.AvroContainerOutputFormat'
TBLPROPERTIES (
'avro.schema.url'='file:///C:/some_dir/table_schema.avsc');
然后我尝试从存储在hdfs中的avro文件加载数据:
LOAD DATA INPATH 'hdfs://localhost:9000/data/test_table.avro' OVERWRITE INTO TABLE test_table;
我得到一个错误:
Error in query: java.lang.IllegalArgumentException: Wrong FS: hdfs://localhost:9000/data/test_table.avro, expected: file:///;
当我试图从本地文件系统加载它的工作。
还有my core-site.xml:
<configuration>
<property>
<name>fs.defaultFS</name>
<value>hdfs://localhost:9000</value>
<final>true</final>
<description>NameNode URI</description>
</property>
</configuration>
如何从存储在hdfs中的文件加载数据?
暂无答案!
目前还没有任何答案,快来回答吧!