我使用presto+hive,使用外部表,使用hdfswebapi提供数据。
这张table有点像
CREATE TABLE `mytable` (
`eventid` string,
`group_id` string)
PARTITIONED BY (`dt` string, `appid` string)
ROW FORMAT DELIMITED FIELDS TERMINATED BY ','
LOCATION '/user/hive/warehouse/mydb.db/mytable'
每次将数据文件推送到hdfs之前,我都使用pyhive创建分区
ALTER TABLE mydb.mytable
ADD IF NOT EXISTS PARTITION (dt='{dt}', appid='{appid}')
然后使用hdfswebapi将数据文件推送到该位置
/user/hive/warehouse/mydb.db/mytable/dt={dt}/appid={appid}/data.csv
它几乎在任何时候都可以正常工作,但偶尔当我通过presto启动查询时,它会抛出一个异常“partition metadata not available”
查询类似于
select *
from mytable
where dt='{dt}'
and appid='{appid}'
and eventid in ('...')
整个错误消息是
DatabaseError: {'message': 'Partition metadata not available', 'errorCode': 16777216, 'errorName': 'HIVE_METASTORE_ERROR', 'errorType': 'EXTERNAL', 'failureInfo': {'type': 'com.facebook.presto.spi.PrestoException', 'message': 'Partition metadata not available', 'suppressed': [], 'stack': ['com.facebook.presto.hive.HiveSplitManager.lambda$getPartitionMetadata$1(HiveSplitManager.java:200)', 'com.google.common.collect.Iterators$8.transform(Iterators.java:799)', 'com.google.common.collect.TransformedIterator.next(TransformedIterator.java:48)', 'com.google.common.collect.TransformedIterator.next(TransformedIterator.java:48)', 'com.google.common.collect.Iterators$5.hasNext(Iterators.java:548)', 'com.facebook.presto.hive.ConcurrentLazyQueue.poll(ConcurrentLazyQueue.java:37)', 'com.facebook.presto.hive.BackgroundHiveSplitLoader.loadSplits(BackgroundHiveSplitLoader.java:219)', 'com.facebook.presto.hive.BackgroundHiveSplitLoader.access$300(BackgroundHiveSplitLoader.java:78)', 'com.facebook.presto.hive.BackgroundHiveSplitLoader$HiveSplitLoaderTask.process(BackgroundHiveSplitLoader.java:179)', 'com.facebook.presto.hive.util.ResumableTasks.safeProcessTask(ResumableTasks.java:45)', 'com.facebook.presto.hive.util.ResumableTasks.lambda$submit$1(ResumableTasks.java:33)', 'io.airlift.concurrent.BoundedExecutor.drainQueue(BoundedExecutor.java:77)', 'java.util.concurrent.ThreadPoolExecutor.runWorker(ThreadPoolExecutor.java:1142)', 'java.util.concurrent.ThreadPoolExecutor$Worker.run(ThreadPoolExecutor.java:617)', 'java.lang.Thread.run(Thread.java:745)']}}
错误不会重复,只是偶尔发生。我认为(以及测试),尝试查询一个空分区,或者一个不存在的分区,不会引起任何问题,它应该返回空的。在这个过程中我没有删除任何分区。
我在互联网上搜索,但没有找到任何关于“分区元数据不可用”错误的有用信息,所以我转向stackoverflow寻求帮助。
什么会导致这样的错误?如何避免?或者当我遇到这样的错误时,我是否应该重试该过程?
暂无答案!
目前还没有任何答案,快来回答吧!