我开始使用ApacheKylin(1.5.3版)。在创建立方体时,我在第5步“保存立方体统计信息”中遇到一个错误。日志上写着:
java.lang.IllegalArgumentException: KeyValue size too large
at org.apache.hadoop.hbase.client.HTable.validatePut(HTable.java:1521)
at org.apache.hadoop.hbase.client.BufferedMutatorImpl.validatePut(BufferedMutatorImpl.java:147)
at org.apache.hadoop.hbase.client.BufferedMutatorImpl.doMutate(BufferedMutatorImpl.java:134)
at org.apache.hadoop.hbase.client.BufferedMutatorImpl.mutate(BufferedMutatorImpl.java:98)
at org.apache.hadoop.hbase.client.HTable.put(HTable.java:1038)
at org.apache.kylin.storage.hbase.HBaseResourceStore.putResourceImpl(HBaseResourceStore.java:242)
at org.apache.kylin.common.persistence.ResourceStore.putResource(ResourceStore.java:208)
at org.apache.kylin.engine.mr.steps.SaveStatisticsStep.doWork(SaveStatisticsStep.java:113)
at org.apache.kylin.job.execution.AbstractExecutable.execute(AbstractExecutable.java:112)
at org.apache.kylin.job.execution.DefaultChainedExecutable.doWork(DefaultChainedExecutable.java:57)
at org.apache.kylin.job.execution.AbstractExecutable.execute(AbstractExecutable.java:112)
at org.apache.kylin.job.impl.threadpool.DefaultScheduler$JobRunner.run(DefaultScheduler.java:127)
at java.util.concurrent.ThreadPoolExecutor.runWorker(ThreadPoolExecutor.java:1145)
at java.util.concurrent.ThreadPoolExecutor$Worker.run(ThreadPoolExecutor.java:615)
at java.lang.Thread.run(Thread.java:745)
首先,我试着用更小的维度创建同一个立方体,结果成功了。用遗漏的尺寸创建另一个立方体也很有效。但当我尝试创建一个包含所有这些(13)维的立方体时,它失败了。我还尝试将hbase.client.keyvalue.maxsize设置为0以禁用检查。还是一样的错误。
有人知道问题是什么,我怎么解决吗?
顺便说一下,我在sandboxhdp2.4上使用了kylin。
提前谢谢你的帮助
sø任
3条答案
按热度按时间rhfm7lfc1#
我们在拼接机上也达到了关键极限。。。
还要记住,在keyvalue规范中,需要将键放入一个short中。键值#getrowoffset()
0yg35tkg2#
@尼钦克尼尔
在kylin.properties中找不到kylin.hbase.client.keyvalue.maxsize。kylin.properties如下所示:
wydwbb8l3#
确保kylin.hbase.client.keyvalue.maxsize(驻留在kylin配置文件-conf/kylin.properteis中)和hbase.client.keyvalue.maxsize(驻留在hbase配置文件中)的值相同。当kylin.hbase.client.keyvalue.maxsize的值大于hbase.client.keyvalue.maxsize时,通常会出现键值大小过大的错误
请在下面找到Kylin地产的样本
内部属性集kylin.hbase.client.keyvalue.maxsize=1048576