我开始在hadoopmapreduce框架上实现kmeans算法。在这方面，我使用的是amazonweb服务提供的弹性mapreduce。我想创建一个hdfs文件来保存初始的簇坐标，并在其上存储还原器的最终结果。我完全搞糊涂了。无论如何，有没有创建或“上传”到hdfs格式的文件，以供所有的Map。对此有何澄清？谢谢。
nc1teljy1#
最后我知道怎么做了。因此，为了将hdfs文件上传到集群中。您必须通过putty（使用安全密钥）连接到集群。然后写下这些命令hadoop distcp s3://buke\u name/data/filenameins3bucket hdfsfilenamewith filenameins3bucket是s3 bucket中的文件名hdfsfilename是我上传文件时您想给文件命名的内容。检查文件是否已上载hadoop fs-ls
1条答案
按热度按时间nc1teljy1#
最后我知道怎么做了。因此，为了将hdfs文件上传到集群中。您必须通过putty（使用安全密钥）连接到集群。
然后写下这些命令
hadoop distcp s3://buke\u name/data/filenameins3bucket hdfsfilename
with filenameins3bucket是s3 bucket中的文件名hdfsfilename是我上传文件时您想给文件命名的内容。
检查文件是否已上载hadoop fs-ls