hdfs有一个称为存储类型/策略的功能—它可以将文件存储在具有不同属性的存储上（快速ssd或慢速但廉价的存档存储）。我想知道是否可以通过hbase使用这个功能？我的用例是，我有一些数据是“热”的，预计会经常被访问，所以我想把它放在“热”（ssd）存储中，一些数据是“冷”的，很少被访问，所以我想把它放在一个更便宜的存储中。我想知道如何用hbase/hdfs来组织它。
xriantvc1#
hbase数据存储在hdfs（如果hdfs是目标存储）中，路径配置为property hbase.rootdir . 你可以从中找到它的价值 hbase-site.xml . 然后可以对该hdfs路径应用hdfs存储策略。
hbase.rootdir
hbase-site.xml
iq0todco2#
我可以看到存储策略允许您在文件或目录上指定策略，并且它们是根据特定规则应用的。我们应该记住，在安装hbase期间，我们指定了存储数据的hdfs目录，例如：
<property> <name>hbase.rootdir</name> <value>hdfs://localhost:8030/hbase</value> </property>
所以， /hbase 是可以指定策略的hdfs目录。我们知道hbse目录结构类似于：
/hbase
hdfs://hbase/data/MyFirstNamespace/MyTable1 hdfs://hbase/data/MyFirstNamespace/MyTable2
因此，我会在hdfs中设置目录级的存储策略，例如， Cold 对于mytable1和 All_SSD 对于mytable2：
Cold
All_SSD
hdfs storagepolicies -setStoragePolicy -path /hbase/data/MyFirstNamespace/MyTable1 -policy Cold hdfs storagepolicies -setStoragePolicy -path /hbase/data/MyFirstNamespace/MyTable2 -policy All_SSD
这需要在创建新的hbase表之后完成。
2条答案
按热度按时间xriantvc1#
hbase数据存储在hdfs（如果hdfs是目标存储）中，路径配置为property
hbase.rootdir. 你可以从中找到它的价值hbase-site.xml. 然后可以对该hdfs路径应用hdfs存储策略。iq0todco2#
我可以看到存储策略允许您在文件或目录上指定策略，并且它们是根据特定规则应用的。
我们应该记住，在安装hbase期间，我们指定了存储数据的hdfs目录，例如：
所以，
/hbase是可以指定策略的hdfs目录。我们知道hbse目录结构类似于：因此，我会在hdfs中设置目录级的存储策略，例如，
Cold对于mytable1和All_SSD对于mytable2：这需要在创建新的hbase表之后完成。