使用create table clone as select*from t\u table将数据从一个现有表复制到新表时,效果非常好。另一方面,在尝试使用insert into table\ U clone将数据从现有表复制到另一个现有表时,请选择column1,col2。。。。从t\u表,其抛出堆空间错误。两种情况下的源表是相同的。
我尝试过不同大小的容器、mapper、reducer、mapreduce.map.java.opts-xmx5124m等等,但每次都会抛出相同的错误。
少数设置是:
yarn.scheduler.minimum-allocation-mb:4gb
yarn.scheduler.maximum-allocation-mb:6gb
容器内存(yarn.nodemanager.resource.memory-mb):18 gb
mapreduce.map.memory.mb:6 gb
mapreduce.reduce.memory.mb:8 gb
mapreduce.map.java.opts:-xmx5124m
mapreduce.reduce.java.opts:-xmx6144m
我无法将数据从非分区表复制到另一个非分区表。虽然主要要求是从非分区表复制到分区表。
在这里,我附上了第1部分中一些文件托管站点的yarn日志。http://textuploader.com/522pt 2http://textuploader.com/522pq 三。http://textuploader.com/522ph 4http://textuploader.com/522pf
我们正在使用cloudera quickstart,它将mapreduce2嵌入到设置中。
暂无答案!
目前还没有任何答案,快来回答吧!