我在尝试让pentaho pdi访问hadoop时遇到困难。我做了一些研究,发现pentaho使用名为shimmes的适配器,我把它们看作hadoop的连接器,就像jdbc驱动程序在java世界中用于数据库连接的方式。
似乎在新版本的pdi(v8.1)中,它们默认安装了4个垫片,它们似乎都是来自hortonworks、mapr、cloudera等大数据公司的特定发行版。
当我进一步研究pentaho pdi大数据时,在早期版本中,他们支持apachehadoop的“香草”安装。
我刚刚从开源网站下载了apachehadoop,并将其安装在windows上。
因此,我的hadoop安装将被视为“香草”hadoop安装。
但是当我在pdi中试用时,我使用了hortonworks shim,当我在连接方面进行测试时,它说它确实成功地连接到hadoop,但是找不到默认目录和根目录。
我有以下错误的屏幕截图:
因此,可以看出错误来自对目录的访问,似乎是:1)用户主目录访问2)根目录访问
所以,因为我使用的是hortonworks填充程序,而且我知道它有一些默认目录(我以前使用过hortonworks hadoop虚拟机)。
(1) 我的问题是:如果我使用hortonworks shim连接到我的“vanilla”hadoop安装,我是否需要tweet一些配置文件来设置一些默认目录(2) 如果我不能使用hortonworks垫片,我如何安装一个“香草”hadoop垫片?
我还在stackoverflow上找到了2013年的相关帖子:
无法使用pdi步骤连接到hdfs
不确定这一信息链接有多重要。
希望有经验的人能帮忙。
我忘了添加以下附加信息:
我为hadoop准备的core-site.xml文件,其内容如下:
<configuration>
<property>
<name>fs.defaultFS</name>
<value>hdfs://localhost:9000</value>
</property>
</configuration>
所以这就涵盖了它。
暂无答案!
目前还没有任何答案,快来回答吧!