pentaho的“hadoop文件输入”(spoon)在尝试从hdfs读取文件时总是显示错误

cwtwac6a  于 2021-05-29  发布在  Hadoop
关注(0)|答案(1)|浏览(501)

我是pentaho和spoon的新手,我正在尝试处理来自本地hadoop节点的文件,spoon(pentaho)中有一个“hadoop file input”项。问题是,到目前为止我尝试的每个uri似乎都不正确。我不知道如何真正连接到pentaho的hdfs。
为了清楚起见,正确的uri是:
hdfs://localhost:9001/user/data/prueba\u concepto/listadoproductos\u 2017\u 02\u 13-15\u 59\u con\u id.csv
我知道它是正确的,因为我通过命令行对它进行了测试,它非常有效:

hdfs dfs -ls hdfs://localhost:9001/user/data/prueba_concepto/ListadoProductos_2017_02_13-15_59_con_id.csv

因此,将环境字段设置为“static”,下面是我在spoon中尝试的一些uri:
hdfs://localhost:9001/user/data/prueba\u concepto/listadoproductos\u 2017\u 02\u 13-15\u 59\u con\u id.csv
hdfs://localhost:8020/user/data/prueba\u concepto/listadoproductos\u 2017\u 02\u 13-15\u 59\u con\u id.csv
hdfs://localhost:9001
hdfs://localhost:9001/用户/数据/prueba\u概念/
hdfs://localhost:9001/用户/数据/prueba\u概念
高密度光纤:///
我甚至试过解决办法ía在这里给出:pentaho hadoop文件输入,它将端口设置为8020,并使用以下uri:
hdfs://catalin:@localhost:8020/user/data/prueba\u concepto/listadoproductos\u 2017\u 02\u 13-15\u 59\u con\u id.csv
然后把它改回9001并尝试了同样的技术:
hdfs://catalin:@localhost:9001/user/data/prueba\u concepto/listadoproductos\u 2017\u 02\u 13-15\u 59\u con\u id.csv
但对我来说还是没什么用。。。每次我按mostrar fichero。。。按钮(显示文件),弹出一个错误,说明找不到该文件。
我在这里添加了一个“hadoop文件输入”图像。
谢谢您。

xj3cbfub

xj3cbfub1#

好吧,我真的解决了这个问题。
我不得不从选项卡“视图”->右击hadoop cluster->new添加一个新的hadoop集群
在那里我必须输入我的hdfs hadoop配置:
存储:hdfs
主机名:localhost
端口:9001(默认为8020)
用户名:catalin
密码:(无密码)
之后,如果按“test”按钮,一些测试将失败。通过将本地hadoop配置文件($local\u hadoop\u home/etc/hadoop/core site.xml)中的所有配置属性复制到spoon的hadoop配置文件中,我解决了第二个问题:
数据集成/plugins/pentaho big data plugin/hadoop configurations/hdp25/core-site.xml
之后,我不得不修改data integration/plugins/pentaho big data plugin/plugin.properties,并将属性“active.hadoop.configuration”设置为hdp25:
active.hadoop.configuration=hdp25
重新启动勺子,你就可以开始了。

相关问题