about hawq pxf访问hdfs上的文件数据

y0u0uwnf  于 2021-05-29  发布在  Hadoop
关注(0)|答案(4)|浏览(384)

在我使用ambari部署了hdfs、map reduce、hawq、pxf之后,我使用impala tpcds工具包生成了大约10g的hdfs数据。
但是当我用用户postgres登录postgres时,我不能使用命令行 CREATE EXTERNAL TABLE 索引hdfs上的数据。当我使用psql help命令时,没有关键字 CREATE EXTERNAL TABLE .
我不知道为什么?

Last login: Thu Aug 25 15:08:15 2016 from 192.168.1.50
[root@hadoop-m-21 ~]# su postgres
bash-4.1$ psql
psql (8.4.20)
Type "help" for help.

postgres=# CREATE EXTERNAL TABLE EXT_LOG_INFO (hight int,weight int) 
LOCATION     ('pxf://10.0.0.21:51200/tmp/test2.txt?PROFILE=HdfsTextSimple') 
FORMAT 'TEXT' (DELIMITER '|'); 
ERROR:  syntax error at or near "EXTERNAL"
LINE 1: CREATE EXTERNAL TABLE EXT_LOG_INFO (hight int,weight int) LO...
           ^
gfttwv5a

gfttwv5a1#

你可能正在连接ambari postgres。检查ambari中的hawq设置并使用psql-h hostname-p port-d database-u username。

n1bvdmb6

n1bvdmb62#

请按照以下步骤操作。
登录hawq主节点
ps-ef | grep silent(找出hawq master正在监听的端口)
su-gpadmin公司
psql(psql应该将您连接到hawqgpadmin数据库)
如果不是类型
psql-p portnumber-h masterhost-d数据库

mbjcgjjk

mbjcgjjk3#

你没有连接到hawq。

[root@hadoop-m-21 ~]# su postgres
bash-4.1$ psql
psql (8.4.20)
Type "help" for help.

这是一个postgresql数据库,很可能是为ambari安装的数据库。使用gpadmin帐户而不是postgres。
另外,如果你想运行tpcds,试试这个为hawq和greenplum设计的。https://github.com/pivotalguru/tpc-ds

6yjfywim

6yjfywim4#

请确保您正在调用连接到hawq的psql,而不是连接到linux内置的postgresql示例。
您可以运行netstat-anp | grep5432了解postgres的pid,使用ps-ef | grepyour | pid了解二进制路径,检查路径是否为hawq。
或者可以运行sql“select version();”在psql中进行检查。

相关问题