我们有一个cql表,它看起来像这样:
CREATE table data (
occurday text,
seqnumber int,
occurtimems bigint,
unique bigint,
fields map<text, text>,
primary key ((occurday, seqnumber), occurtimems, unique)
)
我可以从中查询这个表 cqlsh
这样地:
select * from data where seqnumber = 10 AND occurday = '2013-10-01';
此查询工作并返回预期的数据。
如果我将此查询作为 LOAD
然而,从Pig的内部来看,事情并不顺利。
-- Need to URL encode the query
data = LOAD 'cql://ks/data?where_clause=seqnumber%3D10%20AND%20occurday%3D%272013-10-01%27' USING CqlStorage();
给予
InvalidRequestException(why:seqnumber cannot be restricted by more than one relation if it includes an Equal)
at org.apache.cassandra.thrift.Cassandra$prepare_cql3_query_result.read(Cassandra.java:39567)
at org.apache.thrift.TServiceClient.receiveBase(TServiceClient.java:78)
at org.apache.cassandra.thrift.Cassandra$Client.recv_prepare_cql3_query(Cassandra.java:1625)
at org.apache.cassandra.thrift.Cassandra$Client.prepare_cql3_query(Cassandra.java:1611)
at org.apache.cassandra.hadoop.cql3.CqlPagingRecordReader$RowIterator.prepareQuery(CqlPagingRecordReader.java:591)
at org.apache.cassandra.hadoop.cql3.CqlPagingRecordReader$RowIterator.executeQuery(CqlPagingRecordReader.java:621)
这些行为不应该是一样的吗?为什么通过Pig的版本失败了呢 cqlsh
命令行吗?
1条答案
按热度按时间qxsslcnc1#
hadoop正在使用cqlpagingrecordreader来尝试加载您的数据。这将导致查询与您输入的内容不同。分页记录读取器试图一次获取一小块cassandra数据,以避免超时。
这意味着您的查询将作为
这就是为什么您会看到重复的键错误。我将提交一个bug到cassandra项目。
吉拉:https://issues.apache.org/jira/browse/cassandra-6151