hdfs有一个称为存储类型/策略的功能—它可以将文件存储在具有不同属性的存储上(快速ssd或慢速但廉价的存档存储)。我想知道是否可以通过hbase使用这个功能?我的用例是,我有一些数据是“热”的,预计会经常被访问,所以我想把它放在“热”(ssd)存储中,一些数据是“冷”的,很少被访问,所以我想把它放在一个更便宜的存储中。我想知道如何用hbase/hdfs来组织它。
xriantvc1#
hbase数据存储在hdfs(如果hdfs是目标存储)中,路径配置为property hbase.rootdir . 你可以从中找到它的价值 hbase-site.xml . 然后可以对该hdfs路径应用hdfs存储策略。
hbase.rootdir
hbase-site.xml
iq0todco2#
我可以看到存储策略允许您在文件或目录上指定策略,并且它们是根据特定规则应用的。我们应该记住,在安装hbase期间,我们指定了存储数据的hdfs目录,例如:
<property> <name>hbase.rootdir</name> <value>hdfs://localhost:8030/hbase</value> </property>
所以, /hbase 是可以指定策略的hdfs目录。我们知道hbse目录结构类似于:
/hbase
hdfs://hbase/data/MyFirstNamespace/MyTable1 hdfs://hbase/data/MyFirstNamespace/MyTable2
因此,我会在hdfs中设置目录级的存储策略,例如, Cold 对于mytable1和 All_SSD 对于mytable2:
Cold
All_SSD
hdfs storagepolicies -setStoragePolicy -path /hbase/data/MyFirstNamespace/MyTable1 -policy Cold hdfs storagepolicies -setStoragePolicy -path /hbase/data/MyFirstNamespace/MyTable2 -policy All_SSD
这需要在创建新的hbase表之后完成。
2条答案
按热度按时间xriantvc1#
hbase数据存储在hdfs(如果hdfs是目标存储)中,路径配置为property
hbase.rootdir
. 你可以从中找到它的价值hbase-site.xml
. 然后可以对该hdfs路径应用hdfs存储策略。iq0todco2#
我可以看到存储策略允许您在文件或目录上指定策略,并且它们是根据特定规则应用的。
我们应该记住,在安装hbase期间,我们指定了存储数据的hdfs目录,例如:
所以,
/hbase
是可以指定策略的hdfs目录。我们知道hbse目录结构类似于:因此,我会在hdfs中设置目录级的存储策略,例如,
Cold
对于mytable1和All_SSD
对于mytable2:这需要在创建新的hbase表之后完成。