使用hbase api过滤和解码使用phoenix api存储的数据

n3schb8v  于 2021-05-29  发布在  Hadoop
关注(0)|答案(0)|浏览(263)

下面是我正在编写的代码的简短描述：
我们使用apachehbase api在hbase数据库中存储数据。模式由各种数据类型的属性组成，如date、float、varchar、char等。。。
现在，我们需要访问一个元组ie的不同版本，这一行将在多年的不同时间更新，我们希望访问所有这些不同的版本。
目前apacheapi只支持
1） 定义在使用ddl创建表时表应维护的版本数
2） 创建新连接时，指定所有查询应在其上工作的表的版本号
https://community.hortonworks.com/questions/51846/query-versions-in-phoenix.html
但这太有限了，hbase api支持时间范围，并在我们需要的时间范围内设置最大版本。所以我决定使用hbase-api访问phoenix-api存储的数据。
这是我面临的问题：
1） 我想根据主键中的任何属性筛选行。我的主键由9个属性组成：
char（10），char（10），char（3），varchar（40），varchar（8），varchar（8），varchar（40），varchar（256），日期
phoenix api连接这些值并从中创建一个行键，如下所示：
$qa$f62和81ppedoid01 pgkbloombrg\x00供应商\x00prcquote\x00bb\x001\x00\x80\x00\x01ad\x5c\xfc\x00
我正在使用hbase行过滤器与子字符串匹配等于比较器来过滤行的基础上，他们的主键值。。。

  1. Filter IDFilter = new RowFilter(CompareOp.EQUAL, new SubstringComparator("$qA$F62&81"));
  2.         Filter CurrencyCodeFilter = new RowFilter(CompareOp.EQUAL, new SubstringComparator("PGK"));
  4.         ArrayList<Filter> filters = new ArrayList<>();
  5.         filters.add(IDFilter);
  6.         filters.add(CurrencyCodeFilter);
  7.         FilterList filterList = new FilterList(Operator.MUST_PASS_ALL ,filters);
  8.         scan.setMaxVersions(1);
  9.         scan.setFilter(filterList);

这对于char、varchar和numbers这样的主键属性非常有效。但我不能根据日期筛选出来，这是非常必要的。
日期的问题是：
我不理解它使用的编码，例如phoenix api将日期“2018-01-30”存储为\x80\x00\x01ad\x5c\xfc\x00
我知道phoenix api将“\x00”放在varchar之后作为分隔符，但我不理解这种编码。
所以我尝试在hbase shell中运行以下命令：
hbase（main）：007:0>扫描“hstp2”，{filter=>“rowfilter（=，'substring:\x80\x00\x01ad\x5c\xfc\x00'）”}
我得到了正确的结果
但当我使用hbase api在java中尝试同样的方法时，没有得到任何结果：

  1. Filter DateFilter = new RowFilter(CompareOp.EQUAL, new SubstringComparator("\\x80\\x00\\x01aD\\x5C\\xFC\\x00"));

当我清除日期过滤器时，我得到了这个
行筛选器（相等，\x5cx80\x5cx00\x5cx01ad\x5cx5c\x5cxfc\x5cx00）
“\”>“\x5c”的转换是问题的原因，因此我没有得到任何结果。
如何根据任何日期执行行筛选？我需要将日期转换为phoenix api存储它的格式，然后运行行过滤器吗？还是有别的办法？
这是我迄今为止测试基于不同属性过滤和解码提取数据的代码：

  1. import java.io.IOException;
  2. import java.text.DateFormat;
  3. import java.text.ParseException;
  4. import java.text.SimpleDateFormat;
  5. import java.util.ArrayList;
  6. import java.util.Date;
  7. import java.util.Locale;
  9. import org.apache.hadoop.conf.Configuration;
  10. import org.apache.hadoop.hbase.Cell;
  11. import org.apache.hadoop.hbase.HBaseConfiguration;
  12. import org.apache.hadoop.hbase.KeyValue;
  13. import org.apache.hadoop.hbase.client.Get;
  14. import org.apache.hadoop.hbase.client.HTable;
  15. import org.apache.hadoop.hbase.client.Result;
  16. import org.apache.hadoop.hbase.client.ResultScanner;
  17. import org.apache.hadoop.hbase.client.Scan;
  18. import org.apache.hadoop.hbase.filter.Filter;
  19. import org.apache.hadoop.hbase.filter.FirstKeyOnlyFilter;
  20. import org.apache.hadoop.hbase.filter.PrefixFilter;
  21. import org.apache.hadoop.hbase.filter.QualifierFilter;
  22. import org.apache.hadoop.hbase.filter.RegexStringComparator;
  23. import org.apache.hadoop.hbase.filter.RowFilter;
  24. import org.apache.hadoop.hbase.filter.SingleColumnValueFilter;
  25. import org.apache.hadoop.hbase.filter.SubstringComparator;
  26. import org.apache.hadoop.hbase.protobuf.generated.HBaseProtos.CompareType;
  27. import org.apache.hadoop.hbase.filter.BinaryComparator;
  28. import org.apache.hadoop.hbase.filter.BinaryPrefixComparator;
  29. import org.apache.hadoop.hbase.filter.CompareFilter;
  30. import org.apache.hadoop.hbase.filter.CompareFilter.CompareOp;
  31. import org.apache.hadoop.hbase.filter.Filter.ReturnCode;
  32. import org.apache.hadoop.hbase.filter.FilterList;
  33. import org.apache.hadoop.hbase.filter.FilterList.Operator;
  34. import org.apache.phoenix.schema.PStringColumn;
  35. import org.apache.phoenix.schema.SortOrder;
  36. import org.apache.phoenix.schema.types.PDataType;
  37. import org.apache.phoenix.schema.types.PDate;
  38. import org.apache.phoenix.schema.types.PFloat;
  39. import org.apache.phoenix.schema.types.PInteger;
  40. import org.apache.phoenix.shaded.org.apache.directory.shared.kerberos.codec.types.PaDataType;
  41. import org.apache.phoenix.shaded.org.joni.Regex;
  42. import org.apache.hadoop.hbase.util.Bytes;
  44. public class HbaseVersionedPriceFetcher {
  46.     public static void main(String[] args) {
  48.         try {
  49.             Configuration conf = HBaseConfiguration.create(new Configuration());  
  50.             conf.set("hbase.zookeeper.quorum", "hostName");//Private Detail
  51.             conf.set("hbase.zookeeper.property.clientPort", "2181");
  53.             HTable table = new HTable(conf, "HSTP2");
  55. //          Filter filter = new SingleColumnValueFilter("0".getBytes(),"LAST_CHG_USR_ID".getBytes(), CompareOp.EQUAL, "AUTO:GEN:SCRIPT".getBytes());            
  56. //          Filter filter = new SingleColumnValueFilter("ISPH".getBytes(),"MKT_OID".getBytes(), CompareOp.EQUAL, "MARKET".getBytes());
  57. //          Filter filter = new SingleColumnValueFilter("ISPH".getBytes(),"VALIDATED_PRC_TYPE".getBytes(), CompareOp.EQUAL, "MID".getBytes());
  59.             Scan scan = new Scan();
  61.             //Filter List
  62.             Filter IDFilter = new RowFilter(CompareOp.EQUAL, new SubstringComparator("qA$F62&81"));         
  63.             Filter CurrencyCodeFilter = new RowFilter(CompareOp.EQUAL, new SubstringComparator("PGK"));
  65.             ArrayList<Filter> filters = new ArrayList<>();
  66.             filters.add(IDFilter);
  67.             filters.add(CurrencyCodeFilter);
  68.             FilterList filterList = new FilterList(Operator.MUST_PASS_ALL ,filters);
  69.             scan.setMaxVersions(1);
  70.             scan.setFilter(filterList);
  72.             //REGEX
  73.             //Filter filter = new RowFilter(CompareOp.EQUAL, new RegexStringComparator(".*PGK.*VENDOR.*"))
  75.             //scan.addColumn("ISPH".getBytes(), "ADJST_TMS".getBytes());
  77. //          long start = new Long("1529578558767");
  78. //              long end  = new Long("1529580854059");
  79. //           
  80. //           try {
  81. //              scan.setTimeRange(start,end);
  82. //          } catch (IOException e) {
  83. //              // TODO Auto-generated catch block
  84. //              e.printStackTrace();
  85. //          }
  87.             ResultScanner scanner = table.getScanner(scan);
  89.             int count = 0;
  91.                 for (Result rr : scanner) {
  93.                     count += 1;
  95.                     System.out.println("Instrument "+ count);
  97.                     System.out.println(rr);
  99.                         for (KeyValue value: rr.raw()) {
  101.                             String qualifier = new String(value.getQualifier());
  102.                             System.out.print( qualifier+" : ");
  104.                             byte[] valByteArray = value.getValue();
  106.                             if(qualifier.equals("ASK_CPRC") || qualifier.equals("BID_CPRC") || qualifier.equals("MID_CPRC") || qualifier.equals("VALIDATED_CPRC")) {
  108.                                 float decoded = PFloat.INSTANCE.getCodec().decodeFloat(valByteArray, 0, SortOrder.getDefault());
  109.                                 System.out.println(decoded);
  111.                             } else if (qualifier.equals("LAST_CHG_TMS") || qualifier.equals("ADJST_TMS") ) {
  113.                                 System.out.println(PDate.INSTANCE.toObject(valByteArray, SortOrder.getDefault()));
  115.                             } else if (qualifier.equals("HST_PRC_DTE_OF_NUM")) {
  117.                                 int decoded = PInteger.INSTANCE.getCodec().decodeInt(valByteArray, 0, SortOrder.getDefault());
  118.                                 System.out.println(decoded);
  119.                             } else {
  120.                                 System.out.println(new String(valByteArray));
  121.                             }
  122.                         }
  124.                     }
  126.                 scanner.close();
  128.             } catch (IOException e1) {
  129.                 e1.printStackTrace();
  130.             } 
  131.     }
  133.     static byte[] getBytes(String string) {
  135.         return string.getBytes();
  136.     }
  137. }
Javahadoophbasenosqlphoenix

暂无答案！

目前还没有任何答案，快来回答吧！

我来回答

相关问题

    查看更多

    热门标签

    更多
    JavaquerypythonNode开发语言requestUtil数据库Table后端算法LoggerMessageElementParser

    最新问答

    更多
    • 蜀ICP备13028337号-1 大数据知识库 https://www.saoniuhuo.com © All rights reserved
    • 本站内容来源互联网,如果侵犯您的权益请联系我们删除, 联系方式：448109455@qq.com