以下是PieCloudDB数据库中HDFS存储的示例配置。

pdbcli cluster create -c kylin01:3333 -s 1 -m s3 --s3-endpoint ip address:9000 --s3-bucket mytest --s3-user minioadmin --s3-pass minioadmin --s3-region us-east-1 --tenant mytest 

pdbcli cluster start -c kylin01:3333 --tenant mytest --cluster 2 ##start cluster 

ps -ef|grep postgres  ##check the port of cluster

创建一个HDFS客户端访问文件，该文件放置在固定目录中。

cd /home/openpie/cc
vim hdfs.xml   
<?xml version="1.0" encoding="UTF-8"?>
<configuration>
        <property>
                <name>dfs.default.uri</name>
                <value>hdfs://ip address:8020</value>
        </property>
        <property>
                <name>dfs.default.username</name>
                <value>root</value>
        </property>
        <property>
                <name>hadoop.security.authentication</name>
                <value>simple</value>
        </property>
        <property>
                <name>dfs.nameservices</name>
                <value>dfs-cluster</value>
        </property>
        <property>
                <name>dfs.default.replica</name>
                <value>3</value>
        </property>
        <property>
                <name>dfs.client.log.severity</name>
                <value>INFO</value>
        </property>
        <property>
                <name>rpc.max.idle</name>
                <value>100</value>
        </property>
</configuration>

需要将文件hdfs.xml复制到与使用HDFS的虚拟数据仓库相关的所有计算节点。建议所有节点都使用相同的目录路径。

scp hdfs.xml  kylin02:/home/openpie/cc/
scp hdfs.xml  kylin03:/home/openpie/cc/

然后，在此虚拟数据仓库的所有协调器和执行器的安装目录中创建HDFS提供程序配置文件。

cd /home/openpie/cn0/mytest/2/6007/storage_provider_conf     
vim hdfs_provider.conf   
#------------------------------------------------------------------------------
# Storage Provider Configuration File
# BASIC OPTIONS
#------------------------------------------------------------------------------
provider_name = 'hdfs-1'
# provider type: local/nas/hdfs/aws-s3/ali-oss/tencent-cos
provider_type = 'hdfs'
#------------------------------------------------------------------------------
# POSIX STORAGE OPTIONS
#------------------------------------------------------------------------------
#posix.base_path = '/tmp/remote'
#------------------------------------------------------------------------------
# HDFS STORAGE OPTIONS
#------------------------------------------------------------------------------
hdfs.conf_file = '/home/openpie/cc/hdfs.xml'
#------------------------------------------------------------------------------
# OBJECT STORAGE OPTIONS
#------------------------------------------------------------------------------

然后，修改这个虚拟数据仓库的所有协调器和执行器的安装目录中的postgresql.conf配置文件

vim postgresql.conf 
##Remove the comment from pdb_default_storage_provider and modify the content to the provider_name of HDFS.
pdb_default_storage_provider = 'hdfs-1'

使用openpie用户在PDB的coordinator节点上重新启动虚拟数据仓库集群。

pdbcli cluster stop -c kylin01:3333 --tenant mytest --cluster 2   ##stop cluster
pdbcli cluster start -c kylin01:3333 --tenant mytest --cluster 2   ##start cluster

测试HDFS的读写能力。

echo " create table t1 (c1 int); insert into t1 values(generate_series(1,1000000)); select count(*) from t1;drop table t1;" | psql -p 6007 openpie

在HDFS管理界面查看写入的文件。http：//ipaddress：9870/explorer.html#/