DataX 如何修改hdfs的reader hdfswriter 让他们支持hadoop3?

sshcrbum 于 4个月前发布在 HDFS

关注(0)|答案(2)|浏览(126)

No description provided.

DataX

来源：https://github.com/alibaba/DataX/issues/2043

2条答案

按热度按时间

8wigbo561#

将 <hive.version>3.1.0</hive.version>
<hadoop.version>3.1.4</hadoop.version>版本修改成报错程序包parquet.schema不存在

赞(0）回复(0）举报 4个月前

nvbavucw2#

找到了解决方案，在hdfswriter 当中加上
依赖：

<dependency>
            <groupId>com.twitter</groupId>
            <artifactId>parquet-hadoop-bundle</artifactId>
            <version>1.6.0rc3</version>
        </dependency>

赞(0）回复(0）举报 4个月前

我来回答

DataX 如何修改hdfs的reader hdfswriter 让他们支持hadoop3?

2条答案

相关问题

热门标签

最新问答