外部snappy avro数据的配置单元表显示压缩为假

mnemlml8  于 2021-06-26  发布在  Hive
关注(0)|答案(1)|浏览(324)

使用sqoop导入的单表

...
--as-avrodatafile
--compression-codec ...SnappyCodec
...

在“文件浏览器”中查看时,确认已通过显示消息对其进行了压缩 Output rendered from compressed avro file. 已将配置单元中的外部表创建为

create external table customers_avro
stored as avro
location '.../path/'
tblproperties('avro.schema.file'='/path/to/customers.avsc')

但是,在使用 describe extended tblname 显示 compressed:false ```
...
inputFormat:org.apache.hadoop.hive.ql.io.avro.AvroContainerInputFormat, outputFormat:org.apache.hadoop.hive.ql.io.avro.AvroContainerOutputFormat, compressed:false, numBuckets:-1, serdeInfo:SerDeInfo(name:null, serializationLib:org.apache.hadoop.hive.serde2.avro.AvroSerDe, parameters:{serialization.format=1})...

还有其他需要设置的属性吗 `tblproperties` ?
q7solyqu

q7solyqu1#

我建议你核实一下你的数据是否被正确压缩。你可以用这个。
从命令行在hadoop中检测压缩编解码器,
另外,了解您的配置单元和sqoop版本应该很有用,尝试像这样从sqoop导入

--compression-codec snappy

相关问题