我们有一个外部配置单元表,在s3位置有Parquet文件,如下所示。我们的emr在pdt/pst时区运行。我们使用vertica copy命令将此数据从配置单元复制到vertica。我们的vertica集群也在pdt/pst中。11月3日(时间变为pst),当emr为上述数据运行copy命令时,时间戳在vertica中滞后一小时,如下所示hive和vertica中用于日期字段的数据类型是“timestamp”。谁能解释一下为什么会发生这个问题,以及如何解决它?
pftdvrlh1#
我怀疑Hive TIMESTAMP ,暗示 TIMESTAMP WITH TIMEZONE . 我知道vertica将两者视为两种不同的数据类型。值得我们沿着这条路去调查。。。
TIMESTAMP
TIMESTAMP WITH TIMEZONE
1条答案
按热度按时间pftdvrlh1#
我怀疑Hive
TIMESTAMP
,暗示TIMESTAMP WITH TIMEZONE
. 我知道vertica将两者视为两种不同的数据类型。值得我们沿着这条路去调查。。。