我用apachedrill编写了数据格式更改程序。在这个程序中，如果csv文件转换成json，json文件就做成hdfs格式但我想输出的文件是压缩的。有可能吗？？如果可能怎么做？？
zkure5ic1#
是的，您可以在apachedrill中设置压缩类型。根据文件，您可以在系统或会话级别为每个集群设置钻取查询规划和执行选项。在会话级别设置的选项仅适用于在当前钻取连接期间运行的查询。在系统级别设置的选项会影响整个系统，并在重新启动之间保持不变。会话级别设置覆盖系统级别设置。“
ALTER SYSTEM SET `option_name` = value;
选项名称store.parquet.compression您可以从允许的值中选择压缩类型：snappy、gzip、none更多信息请点击此处。
1条答案
按热度按时间zkure5ic1#
是的，您可以在apachedrill中设置压缩类型。
根据文件，
您可以在系统或会话级别为每个集群设置钻取查询规划和执行选项。在会话级别设置的选项仅适用于在当前钻取连接期间运行的查询。在系统级别设置的选项会影响整个系统，并在重新启动之间保持不变。会话级别设置覆盖系统级别设置。“
选项名称store.parquet.compression您可以从允许的值中选择压缩类型：snappy、gzip、none
更多信息请点击此处。