我可以为pig作业使用不同于底层hadoop基础设施使用的协议缓冲区版本吗?

lsmepo6l  于 2021-06-24  发布在  Pig
关注(0)|答案(0)|浏览(157)

我工作的hadoop集群似乎部署了一个协议缓冲区jar供自己使用。我想编写pig脚本,通过udf使用自己版本的协议缓冲区进行存储。我的udf是否可以使用与底层hadoop系统不同的协议缓冲区版本?
对于上下文,编译的协议缓冲区代码不应该在版本之间交换,即使wire格式可以是。所以我需要保证,如果我提供jar,我不会替换hadoop内部工作的标准变体。另外,我发现集群上提供的标准版本的协议缓冲区与我提供的编译消息(已确认)不兼容。
这里的问题是,是否需要在集群和库代码之间始终100%同步协议缓冲区库的版本。这将带来紧密耦合和未来的维护难题。我很可能会转向节俭,它显然对集群没有预先存在的依赖关系。

暂无答案!

目前还没有任何答案,快来回答吧!

相关问题