我想在amazon emr上运行yahoo的storm on yarn项目。在emr上，无法创建本地目录。我想可能是连接问题或者没有得到许可。你能给我一些建议吗？谢谢你的帮助。
2017-03-01 11:38:02 supervisor[error]初始化服务器mk supervisor java.io.ioexception时出错：无法创建目录/mnt/yarn，/mnt1/yarn/usercache/yarn/appcache/application\u 1488367739843\u 0002/container\u 1488367739843\u 0002\u 01\u000006/storm/storm-1.0.1/storm-local/supervisor网址：org.apache.storm.shade.org.apache.commons.io.fileutils.forcemkdir（fileutils）。java:2384)~[风暴核心-1.0.1。jar:1.0.1]在org.apache.storm.config$supervisor\u local\u dir.invoke（config。clj:172) ~[风暴核心-1.0.1。jar:1.0.1]在org.apache.storm.config$supervisor\u isupervisor\u dir.invoke（config。clj:177)~[风暴核心-1.0.1。jar:1.0.1]在org.apache.storm.daemon.supervisor$fn\uu9230$exec\u fn\uuu2461\uuuu auto\uuuuuuuu9231.invoke（supervisor。clj:781)~[风暴核心-1.0.1。jar:1.0.1]在clojure.lang.afn.applytohelper（afn。java:160)~[clojure-1.7.0.jar:？]在clojure.lang.afn.applyto（afn。java:144)~[clojure-1.7.0.jar:？]在clojure.core$apply.invoke（core。clj:630)~[clojure-1.7.0.jar:？]在org.apache.storm.daemon.supervisor$fn\uu 9230$mk\u supervisor\uu 9275.doinvoke（supervisor。clj:779)[风暴核心-1.0.1。jar:1.0.1]在clojure.lang.restfn.invoke（restfn。java:436)[clojure-1.7.0.jar:？]在org.apache.storm.daemon.supervisor$\u launch.invoke（supervisor。clj:1216)[风暴核心-1.0.1。jar:1.0.1]在org.apache.storm.daemon.supervisor$\u main.invoke（supervisor。clj:1249)[风暴核心-1.0.1。jar:1.0.1]在clojure.lang.afn.applytohelper（afn。java:152)[clojure-1.7.0.jar:？]在clojure.lang.afn.applyto（afn。java:144)[clojure-1.7.0.jar:？]在org.apache.storm.daemon.supervisor.main（未知源）[storm-core-1.0.1。jar:1.0.1]
1条答案
按热度按时间qnakjoqk1#
无密码ssh已经是默认的，您必须使用密码专门启用ssh登录（这样做不是一个好主意，因为它比使用密钥对更不安全，我假设这就是您所说的“无密码ssh登录”的意思）。
创建emr集群时，可以选择指定要使用的ssh密钥的名称（在已上载公钥或已使用aws控制台/cli为您创建密钥对之后），然后可以使用私钥（通常是.pem文件）ssh到emr集群的主示例。
有关更多信息，请参阅以下页面：http://docs.aws.amazon.com/emr/latest/managementguide/emr-connect-master-node-ssh.htmlhttphttp://docs.aws.amazon.com/awsec2/latest/userguide/ec2-key-pairs.html
很难判断问题出在哪里，因为您没有提供太多信息，但听起来您可能以“ec2 user”的身份ssh到集群。当使用emr时，您应该以“hadoop”用户的身份ssh到集群。如果这不能解决你的问题，请更新问题与你正在做的更多细节。