storm命令在添加jsoup作为提供的依赖项后失败,并显示noclassdeffounderror

esyap4oy  于 2021-06-24  发布在  Storm
关注(0)|答案(3)|浏览(338)

我在我的项目中使用jsoup,并且在我的 POM 文件。它编译得很好,运行也很好,但只有在我使用 jar with all dependencies 并将依赖关系的范围更改为 compiled .
如果我把这个范围改成 provided ,那么我仍然可以很好地编译,但不能运行它。它给了我 ClassNotFoundException . 我已经在 classpath 还有 path 但我仍然面临这个问题。
我可以使用compile选项,但是我真的很烦为什么不能用提供的选项运行它,如果有人能帮我找出原因,我会非常感激。
以下是我看到的错误:

java.lang.NoClassDefFoundError: Lorg/jsoup/nodes/Document;
    at java.lang.Class.getDeclaredFields0(Native Method)
    at java.lang.Class.privateGetDeclaredFields(Class.java:2300)
    at java.lang.Class.getDeclaredField(Class.java:1882)
    at java.io.ObjectStreamClass.getDeclaredSUID(ObjectStreamClass.java:1605)
    at java.io.ObjectStreamClass.access$700(ObjectStreamClass.java:50)
    at java.io.ObjectStreamClass$2.run(ObjectStreamClass.java:423)
    at java.security.AccessController.doPrivileged(Native Method)
    at java.io.ObjectStreamClass.<init>(ObjectStreamClass.java:411)
    at java.io.ObjectStreamClass.lookup(ObjectStreamClass.java:308)
    at java.io.ObjectOutputStream.writeObject0(ObjectOutputStream.java:1114)
    at java.io.ObjectOutputStream.writeObject(ObjectOutputStream.java:330)
    at backtype.storm.utils.Utils.serialize(Utils.java:52)
    at backtype.storm.topology.TopologyBuilder.createTopology(TopologyBuilder.java:94)
    at com.yahoo.amit.wordstorm.WordStormTopology.main(WordStormTopology.java:25)
Caused by: java.lang.ClassNotFoundException: org.jsoup.nodes.Document
    at java.net.URLClassLoader$1.run(URLClassLoader.java:202)
    at java.security.AccessController.doPrivileged(Native Method)
    at java.net.URLClassLoader.findClass(URLClassLoader.java:190)
    at java.lang.ClassLoader.loadClass(ClassLoader.java:306)
    at sun.misc.Launcher$AppClassLoader.loadClass(Launcher.java:301)
    at java.lang.ClassLoader.loadClass(ClassLoader.java:247)
    ... 14 more

以下是我的pom文件:

<project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"
  xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 http://maven.apache.org/xsd/maven-4.0.0.xsd">
  <modelVersion>4.0.0</modelVersion>

  <groupId>com.yahoo.amit.wordstorm</groupId>
  <artifactId>wordstorm</artifactId>
  <version>1.0-SNAPSHOT</version>
  <packaging>jar</packaging>

  <name>wordstorm</name>
  <url>http://maven.apache.org</url>

    <repositories>
        <repository>
            <id>clojars.org</id>
            <url>http://clojars.org/repo</url>
        </repository>
    </repositories>

  <properties>
    <project.build.sourceEncoding>UTF-8</project.build.sourceEncoding>
  </properties>

  <dependencies>
    <dependency>
            <groupId>storm</groupId>
            <artifactId>storm</artifactId>
            <version>0.8.2</version>
            <scope>provided</scope>
        </dependency>
    <dependency>
      <groupId>junit</groupId>
      <artifactId>junit</artifactId>
      <version>3.8.1</version>
      <scope>test</scope>
    </dependency>

    <dependency>
    <groupId>org.jsoup</groupId>
    <artifactId>jsoup</artifactId>
    <version>1.7.2</version>
    <scope>provided</scope>
</dependency>

  </dependencies>
  <build>
    <plugins>
            <!--
            bind the maven-assembly-plugin to the package phase
            this will create a jar file without the storm dependencies
            suitable for deployment to a cluster.
             -->
            <plugin>
                <artifactId>maven-assembly-plugin</artifactId>
                <configuration>
                    <descriptorRefs>
                        <descriptorRef>jar-with-dependencies</descriptorRef>
                    </descriptorRefs>
                    <archive>
                        <manifest>
                            <mainClass></mainClass>
                        </manifest>
                    </archive>
                </configuration>
                <executions>
                    <execution>
                        <id>make-assembly</id>
                        <phase>package</phase>
                        <goals>
                            <goal>single</goal>
                        </goals>
                    </execution>
                </executions>

            </plugin>
        </plugins>
        </build>
</project>

以下是我的系统变量:

echo $PATH

/Users/programmerman/Summer
Project/apache-maven-3.0.5/bin/:/Users/programmerman/Summer
Project/storm-0.8.2/bin/:/usr/bin:/bin:/usr/sbin:/sbin:/usr/local/bin:/usr/bin:/bin:/usr/sbin:/sbin:/usr/local/bin:/Users/programmerman/Summer
Project/CLASSPATH/jsoup-1.7.2.jar:/Users/programmerman/Summer
Project/CLASSPATH/*

echo $CLASSPATH

/Users/programmerman/Summer
Project/storm-0.8.2/storm-0.8.2.jar:/Users/programmerman/Summer
Project/storm-0.8.2/lib/*:/Users/programmerman/Summer
Project/storm-0.8.2/conf/storm.yaml:/Users/programmerman/SummerProject/storm-starter-masterPOM/target/storm-starter-0.0.1-SNAPSHOT-jar-with-dependencies.jar:/Users/programmerman/Summer
Project/CLASSPATH/jsoup-1.7.2.jar:/Users/programmerman/Summer
Project/CLASSPATH/*
lpwwtiir

lpwwtiir1#

提供的maven范围意味着依赖项在编译时包含,但在运行时不包含。container/run脚本应该显式地包含它,这样我就可以看出您的思路是正确的。
其他可以检查以解决问题的方法是:
在运行java程序的shell示例上检查classpath环境变量。尽管您的用户shell上已经有了正确的classpath值,但通常您必须创建一个新的shell示例(即:运行脚本),并且classpath变量不会被传播。在unix上,通常使用 export 命令
检查类路径是否有效,是否具有正确的文件系统权限,jar是否损坏
检查用于运行程序的java命令。如果您指定 -cp 它可能(或不)重写classpath环境变量

hjzp0vay

hjzp0vay2#

storm脚本不使用classpath变量,而是将storm\u dir/lib目录中的所有jar放在其类路径中。所以你有两个选择:
将jsoup依赖项的作用域更改为“compile”作用域,并将其打包到具有依赖项的jar中。
将jsoup依赖项保留在“provided”范围内,并将jsoupjar复制到storm\u dir/lib目录中,以便storm脚本将该jar自动放入其类路径中。
我强烈推荐选项1,并遵循标准的maven方法。
仅供参考storm脚本是如何创建类路径字符串的:

def get_classpath(extrajars):
    ret = get_jars_full(STORM_DIR)
    ret.extend(get_jars_full(STORM_DIR + "/lib"))
    ret.extend(extrajars)
    return normclasspath(":".join(ret))
z9ju0rcb

z9ju0rcb3#

这既是关于maven的问题,也是关于storm及其部署模型的问题。你得看看 storm 命令实际上是这样的。首先,它实际上是一个python脚本,最终调用 java .
如果你看看函数 get_classpath(extrajars) ,您会注意到它不使用 $CLASSPATH 环境变量。相反,它加载核心storm jar和目录下的任何jar lib/ 相对于您的工作目录,以及下的配置文件 ~/.storm (你会发现 $CLASSPATH 在许多java应用程序中非常常见。通常,“启动脚本”做的第一件事就是覆盖类路径或者根本不使用它。这是为了防止未知/不受支持/早期版本的jar在应用程序中引起问题)。
至于当jsoup声明为“provided”时应用程序失败:当您将jar声明为提供的依赖项时,它将不会打包到“jar with dependencies”程序集中。请看这个问题以获得一个很好的解释:maven scope compile和为jar打包提供的不同之处
tl;dr的解释是编译作用域是随uberjar提供的,前提是作用域不是,因为它应该是由您要部署到的容器“提供”的。通常,“容器”是一个javaweb服务器,比如tomcat(因此,您不必在java中随web应用程序一起发布jsp或servlet jar)。在本例中,您希望“提供”类的“容器”是storm。但是,jsoup不是由storm提供的,因此您会出错。
编译作用域类仍然需要随应用程序一起提供,因为应用程序将示例化/使用接口、枚举等。
我的建议是只声明jsoup“compile”范围,然后继续。另一种方法是编写自己的定制部署脚本和/或将jsoup置于其下的程序集 lib/ -最后基本上是一样的。

相关问题