我想在数据级别进行合并,以便减少条纹的数量。这是因为我每小时处理一次文件,每个分区都会创建很多较小的orc文件。如果我连接,文件合并只在条带级别发生,就像添加了许多条带一样。最后我有多个条纹只有2-3行。我希望条纹少一些,行多一些。
xxhby3vn1#
merge.orcfile.stripe.level=false应该可以工作,但是我还没有让它在我们的集群上工作。我必须编写一个自定义程序来读取和合并文件。
1条答案
按热度按时间xxhby3vn1#
merge.orcfile.stripe.level=false应该可以工作,但是我还没有让它在我们的集群上工作。
我必须编写一个自定义程序来读取和合并文件。