我正在尝试为hadoop开发一个新的编解码器压缩。首先，我想知道是否有相同的教程实现一个新的编码解码器在hadoop。因此，我尝试通过更改final扩展名来编辑几个默认编解码器，例如snappy或deflate，例如，我用“.dummy”更改了deflate的扩展名。但问题的关键在于编译阶段，因为需要在hadoop中上传新的编解码器代码。为了正确上传代码，每次我想检查代码中的新编辑时，都会进行新的重新编译。
如何加快这一进程？
我试图用以下命令执行编译： mvn package -Pdist,native 一次用于代码编辑，
mvn compile -pl Hadoop-common-project mvn install -pl Hadoop-common-project 但之前的测试结果最差的报告。
1条答案
按热度按时间zbq4xfa01#
我已经通过编译hadoop common project/hadoop common中的包解决了这个问题。在上一个文件夹中，找到了pom.xml文件。之后，我通过以下方式运行mvn编译：
mvn包-pdist，本机-dskiptests
因此，我将目标文件夹中的jar复制到$hadoop\u home/share/hadoop/common。在mapred-site.xml文件中指定了hadoop的编解码器之后，前面的步骤就可以在hadoop中使用编解码器了。