无法将impala kudu连接到apache kudu(没有cloudera管理器):get ttransportexception error

kx5bkwkv  于 2021-06-26  发布在  Impala
关注(0)|答案(1)|浏览(516)

根据kudu的官方文档,我已经成功地在ubuntu(trusty)上安装了kudu(参见http://kudu.apache.org/docs/installation.html ). 安装程序有一个节点运行master和tablet server,另一个节点仅运行tablet server。我在运行kudu master的节点上安装没有cloudera管理器的impala kudu时遇到问题。我已经按照cdh的安装说明进行了操作(参见http://www.cloudera.com/documentation/enterprise/latest/topics/cdh_ig_cdh5_install.html )翻到第3步。我避免了用yarn和mrv1安装cdh,因为我不需要运行任何mapreduce作业,也不会使用hadoop。impala kudu和impala kudu外壳安装无误。当我启动 Impala 外壳时,它返回:

Starting Impala Shell without Kerberos authentication
Error connecting: TTransportException, Could not connect to kudu_test:21000

***********************************************************************************

Welcome to the Impala shell. Copyright (c) 2015 Cloudera, Inc. All rights reserved.
(Impala Shell v2.7.0-cdh5-IMPALA_KUDU-cdh5 (48f1ad3) built on Thu Aug 18 12:15:44 PDT 2016)Want to know what version of Impala you're connected to? Run the VERSION command to
find out!

***********************************************************************************

[Not connected] >

我尝试使用connect选项连接到kudu主节点,但没有成功。imapala kudu和kudu都在同一台机器上运行。是否有需要更改的其他配置设置,或者hadoop和yarn是使impala kudu工作的严格要求?
运行后 ps -ef | grep -i impalad 我可以确认 Impala 守护进程没有运行。在导航到impala日志~/var/log/impala之后,我发现了一些错误和警告文件。以下是impalad.error的输出:

Log file created at: 2016/09/13 13:26:24
Running on machine: kudu_test
Log line format: [IWEF]mmdd hh:mm:ss.uuuuuu threadid file:line] msg
E0913 13:26:24.084389  3021 logging.cc:118] stderr will be logged to this file.
E0913 13:26:25.406966  3021 impala-server.cc:249] Currently configured default filesystem: LocalFileSystem. fs.defaultFS (file:///) is not supported.ERROR: block location tracking is not properly enabled because
  - dfs.datanode.hdfs-blocks-metadata.enabled is not enabled.
  - dfs.client.file-block-storage-locations.timeout.millis is too low. It should be at least 10 seconds.

E0913 13:26:25.406990  3021 impala-server.cc:252] Aborting Impala Server startup due to improper configuration. Impalad exiting.

也许我需要重新访问hdfs和hivemetastore以确保这些服务配置正确?

ippsafx7

ippsafx71#

根据日志,impalad退出是因为默认文件系统配置为localfilesystem,这是不受支持的。必须将分布式文件系统(如hdfs)设置为默认文件系统。
尽管kudu是一个独立的存储系统,不依赖hdfs,但impala似乎仍然需要一个非本地的默认fs,即使在与kudu一起使用时也是如此。impalaèu kudu文件明确列出了以下要求:
在安装impala\u kudu之前,您必须已经安装并配置了hdfs(尽管kudu没有使用)、hive metastore(impala存储元数据的地方)和kudu的服务。
我甚至可以想象,除了让 Impala 开心之外,hdfs可能真的不需要,但这只是我的猜测。更新:发现了impala-1850,这证实了我的怀疑,hdfs不应该再需要为impala了,但它不仅仅是一个单一的检查,必须删除。

相关问题