如何处理hadoopwebui的身份验证?

gj3fmq9x  于 2021-06-01  发布在  Hadoop
关注(0)|答案(0)|浏览(313)

在我的hadoop集群中。我们必须验证webui组件,所以开始搜索并找到这个选项
https://streever.atlassian.net/wiki/spaces/hadoop/blog/2014/03/07/491558/securing+hadoop+hdp+web+ui+component+s
我使用了上面描述的身份验证,当我连接到webui时,它请求用户名和密码。
我现在的问题是,当我查看namenode日志时,当namenode连接到journalnode时,会显示一个未经授权的错误
我在网上查了一下,但所有的链接都指向启用 kerberos 身份验证。但我不能这样做,因为我的经理告诉我,要让它在我们的集群中工作需要相当长的时间。
所以我的问题是有一个背景吗 namenode 或者 hdfs 关于这件事,我可以在哪里指定 JETTY 身份验证凭据。
就像我可以用

  1. curl -u username:password http://192.168.14.22:8480

或使用授权标头

  1. curl -H "authorization: Basic ZGF2aWQ6aGFkb29w" http://192.168.14.22:8480

未经授权的错误

  1. org.apache.hadoop.hdfs.server.namenode.TransferFsImage$HttpGetFailedException: Fetch of http://node1.qaperf.flytxt.com:8480/getJournal?jid=flycluster&segmentTxId=6938&storageInfo=-63%3A2141723110%3A0%3ACID-26cc5859-c0e5-4ddb-acfd-c96c7a10b238 failed with status code 401
  2. Response message:
  3. Unauthorized
  4. at org.apache.hadoop.hdfs.server.namenode.EditLogFileInputStream$URLLog$1.run(EditLogFileInputStream.java:471)
  5. at org.apache.hadoop.hdfs.server.namenode.EditLogFileInputStream$URLLog$1.run(EditLogFileInputStream.java:456)
  6. at java.security.AccessController.doPrivileged(Native Method)
  7. at javax.security.auth.Subject.doAs(Subject.java:422)
  8. at org.apache.hadoop.security.UserGroupInformation.doAs(UserGroupInformation.java:1754)
  9. at org.apache.hadoop.security.SecurityUtil.doAsUser(SecurityUtil.java:448)
  10. at org.apache.hadoop.security.SecurityUtil.doAsCurrentUser(SecurityUtil.java:442)
  11. at org.apache.hadoop.hdfs.server.namenode.EditLogFileInputStream$URLLog.getInputStream(EditLogFileInputStream.java:455)
  12. at org.apache.hadoop.hdfs.server.namenode.EditLogFileInputStream.init(EditLogFileInputStream.java:141)
  13. at org.apache.hadoop.hdfs.server.namenode.EditLogFileInputStream.nextOpImpl(EditLogFileInputStream.java:192)
  14. at org.apache.hadoop.hdfs.server.namenode.EditLogFileInputStream.nextOp(EditLogFileInputStream.java:250)
  15. at org.apache.hadoop.hdfs.server.namenode.EditLogInputStream.readOp(EditLogInputStream.java:85)
  16. at org.apache.hadoop.hdfs.server.namenode.EditLogInputStream.skipUntil(EditLogInputStream.java:151)
  17. at org.apache.hadoop.hdfs.server.namenode.RedundantEditLogInputStream.nextOp(RedundantEditLogInputStream.java:178)
  18. at org.apache.hadoop.hdfs.server.namenode.EditLogInputStream.readOp(EditLogInputStream.java:85)
  19. at org.apache.hadoop.hdfs.server.namenode.EditLogInputStream.skipUntil(EditLogInputStream.java:151)
  20. at org.apache.hadoop.hdfs.server.namenode.RedundantEditLogInputStream.nextOp(RedundantEditLogInputStream.java:178)
  21. at org.apache.hadoop.hdfs.server.namenode.EditLogInputStream.readOp(EditLogInputStream.java:85)
  22. at org.apache.hadoop.hdfs.server.namenode.FSEditLogLoader.loadEditRecords(FSEditLogLoader.java:190)
  23. at org.apache.hadoop.hdfs.server.namenode.FSEditLogLoader.loadFSEdits(FSEditLogLoader.java:143)
  24. at org.apache.hadoop.hdfs.server.namenode.FSImage.loadEdits(FSImage.java:898)
  25. at org.apache.hadoop.hdfs.server.namenode.FSImage.loadFSImage(FSImage.java:753)
  26. at org.apache.hadoop.hdfs.server.namenode.FSImage.recoverTransitionRead(FSImage.java:329)
  27. at org.apache.hadoop.hdfs.server.namenode.FSNamesystem.loadFSImage(FSNamesystem.java:984)
  28. at org.apache.hadoop.hdfs.server.namenode.FSNamesystem.loadFromDisk(FSNamesystem.java:686)
  29. at org.apache.hadoop.hdfs.server.namenode.NameNode.loadNamesystem(NameNode.java:586)
  30. at org.apache.hadoop.hdfs.server.namenode.NameNode.initialize(NameNode.java:646)
  31. at org.apache.hadoop.hdfs.server.namenode.NameNode.<init>(NameNode.java:820)
  32. at org.apache.hadoop.hdfs.server.namenode.NameNode.<init>(NameNode.java:804)
  33. at org.apache.hadoop.hdfs.server.namenode.NameNode.createNameNode(NameNode.java:1516)
  34. at org.apache.hadoop.hdfs.server.namenode.NameNode.main(NameNode.java:1582)

请帮忙。

暂无答案!

目前还没有任何答案,快来回答吧!

相关问题