我的分区基于年/月/日。使用SimpleDataFormat for week year创建了一个错误的分区。2017-31-12日期的数据以日期格式使用yyyy移动到2018-31-12。
SimpleDateFormat sdf = new SimpleDateFormat("YYYY-MM-dd");
所以我想把数据从同一个表的分区2018/12/31移到2017/12/31。我没有找到任何相关的文件做同样的事。
我的分区基于年/月/日。使用SimpleDataFormat for week year创建了一个错误的分区。2017-31-12日期的数据以日期格式使用yyyy移动到2018-31-12。
SimpleDateFormat sdf = new SimpleDateFormat("YYYY-MM-dd");
所以我想把数据从同一个表的分区2018/12/31移到2017/12/31。我没有找到任何相关的文件做同样的事。
2条答案
按热度按时间ui7jx7zq1#
与此相关的还有一个jirahttps://issues.apache.org/jira/browse/spark-19187. 将spark版本升级到2.0.1应该可以解决这个问题
nqwrtyyt2#
据我所知,您希望将数据从2018-12-31分区移动到2017/12/31分区。下面是我对你如何做的解释。
从sparkcode开始,基本上必须初始化hivecontext并从中运行相同的hql。关于如何启动Hive上下文,您可以在这里引用我的一个答案。
为什么我要修table??