如何修复hadoop警告:ubuntu上发生非法反射访问操作错误

uqdfh47h  于 2021-05-29  发布在  Hadoop
关注(0)|答案(3)|浏览(793)

我已经安装了java openjdk version "10.0.2" 以及 Hadoop 2.9.0 成功。所有进程都运行良好

  1. hadoopusr@amalendu:~$ jps
  2. 19888 NameNode
  3. 20388 DataNode
  4. 20898 NodeManager
  5. 20343 SecondaryNameNode
  6. 20539 ResourceManager
  7. 21118 Jps

但当我试图执行任何命令 hdfs dfs -ls / 获取此警告

  1. hadoopusr@amalendu:~$ hdfs dfs -ls /
  2. WARNING: An illegal reflective access operation has occurred
  3. WARNING: Illegal reflective access by org.apache.hadoop.security.authentication.util.KerberosUtil (file:/usr/local/hadoop/share/hadoop/common/lib/hadoop-auth-2.9.0.jar) to method sun.security.krb5.Config.getInstance()
  4. WARNING: Please consider reporting this to the maintainers of org.apache.hadoop.security.authentication.util.KerberosUtil
  5. WARNING: Use --illegal-access=warn to enable warnings of further illegal reflective access operations
  6. WARNING: All illegal access operations will be denied in a future release
  7. 18/09/04 00:29:24 WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable

请帮助解决这个问题。这是我的~/.bashrc文件配置

  1. export JAVA_HOME=/usr/lib/jvm/java-11-openjdk-amd64
  2. export HADOOP_HOME=/usr/local/hadoop
  3. export PATH=$PATH:$HADOOP_HOME/bin
  4. export PATH=$PATH:$HADOOP_HOME/sbin
  5. export HADOOP_MAPRED_HOME=$HADOOP_HOME
  6. export HADOOP_COMMON_HOME=$HADOOP_HOME
  7. export HADOOP_HDFS_HOME=$HADOOP_HOME
  8. export YARN_HOME=$HADOOP_HOME
  9. export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_HOME/lib/native
  10. export HADOOP_OPTS="-Djava.library.path=$HADOOP_HOME/lib"
z5btuh9x

z5btuh9x1#

这在hadoop3.3和3.2.2中已经通过修复。https://issues.apache.org/jira/browse/hadoop-10848

piwo6bdm

piwo6bdm2#

对于这些警告您无能为力,这与jigsaw项目和强(er)封装有关。
基本上有一个类叫做 sun.security.krb5.Config 这就是所谓的“模块”的一部分 java.security.jgss . 这个模块“定义”它输出什么(其他人可以从中使用什么)以及输出给谁。这也意味着在简单的英语,这不是为公众使用-不要碰它;好 hadoop 是的,这是他们努力解决这个问题的一部分。你可以报告这一点或尝试升级hadoop,可能这已经是固定的。

cpjpxq1n

cpjpxq1n3#

此问题是由于最新的java升级导致的。请使用java 8配置它。它工作迅速。

相关问题