我最近使用ApachePhoenix设置了一个jdbc驱动程序来连接HadoopDB。squirrel上的基本查询工作得很好(例如,“select*from datafile”),但只要我询问一个稍微复杂的查询(即,“select column1 from datafile where column2='filter1'”),就会遇到以下错误:
org.apache.phoenix.exception.PhoenixIOException: Task
org.apache.phoenix.job.JobManager$InstrumentedJobFutureTask rejected from
org.apache.phoenix.job.JobManager[Running, pool size = 128, active threads =
128, queued tasks = 5000, completed tasks = 5132]
通过一些搜索,我似乎应该增加apache phoenix hbase.xml配置文件中的threadpoolsize以避免这个错误,我已经这样做了,将其从128增加到512。然而,它似乎没有注意到这种变化。错误仍然存在,错误中的“池大小”仍为128。
在squirrel中的phoenix驱动程序设置中,我已经指出了hbase和hdfs目录的位置,其中包含安装程序中“extra class path”下的.xml配置文件。
有没有办法让驱动程序“注意到”threadpoolsize已经更改?
谢谢您!
2条答案
按热度按时间swvgeqrz1#
有几件事要检查
确保您的phoenix客户端jar与您的phoenix服务器的版本兼容。
从您的hbase主节点获取hbase-site.xml(确保phoenix线程池大小与主节点同步设置),并添加到phoenix jar文件(使用7zip),然后再次尝试运行squirrel客户端。
a7qyws3x2#
我在这个问题上花了很多时间。。。
第一步是运行
explain
在查询中查找chunks编号(例如:client 4819 chunk):explain select row sum(row2) where the_date=to_date("2018-01-01");
```+------------------------------------------------------------------------------+
| PLAN |
+------------------------------------------------------------------------------+
| CLIENT 4819-CHUNK 2339029958 ROWS 1707237752908 BYTES PARALLEL 4819-WAY FULL |
| SERVER FILTER BY "THE_DATE" = DATE '2018-01-01 01:00:00.000' |
| SERVER AGGREGATE INTO DISTINCT ROWS BY ["THE_DATE"] |
| CLIENT MERGE SORT |
+------------------------------------------------------------------------------+
4 rows selected (0.247 seconds)