使用sqoop导入的单表
...
--as-avrodatafile
--compression-codec ...SnappyCodec
...
在“文件浏览器”中查看时,确认已通过显示消息对其进行了压缩 Output rendered from compressed avro file.
已将配置单元中的外部表创建为
create external table customers_avro
stored as avro
location '.../path/'
tblproperties('avro.schema.file'='/path/to/customers.avsc')
但是,在使用 describe extended tblname
显示 compressed:false
```
...
inputFormat:org.apache.hadoop.hive.ql.io.avro.AvroContainerInputFormat, outputFormat:org.apache.hadoop.hive.ql.io.avro.AvroContainerOutputFormat, compressed:false, numBuckets:-1, serdeInfo:SerDeInfo(name:null, serializationLib:org.apache.hadoop.hive.serde2.avro.AvroSerDe, parameters:{serialization.format=1})...
还有其他需要设置的属性吗 `tblproperties` ?
1条答案
按热度按时间q7solyqu1#
我建议你核实一下你的数据是否被正确压缩。你可以用这个。
从命令行在hadoop中检测压缩编解码器,
另外,了解您的配置单元和sqoop版本应该很有用,尝试像这样从sqoop导入