使用旧版本的pig，比如0.11，是否可以使用rcfiles读/写hdfs？我知道pig版本0.14支持优化的rcfiles，比如orcfiles，但是我想继续使用我现在的pig版本0.11
ugmeyewa1#
象鸟图书馆(https://github.com/twitter/elephant-bird/)twitter支持加载和存储文件所需的类是rcfilepigstorage（扩展pigstorage）https://github.com/twitter/elephant-bird/blob/master/rcfile/src/main/java/com/twitter/elephantbird/pig/store/rcfilepigstorage.java此库支持pig版本0.8及更高版本。
1条答案
按热度按时间ugmeyewa1#
象鸟图书馆(https://github.com/twitter/elephant-bird/)twitter支持加载和存储文件
所需的类是rcfilepigstorage（扩展pigstorage）
https://github.com/twitter/elephant-bird/blob/master/rcfile/src/main/java/com/twitter/elephantbird/pig/store/rcfilepigstorage.java
此库支持pig版本0.8及更高版本。