我在我的项目中使用jsoup,并且在我的 POM
文件。它编译得很好,运行也很好,但只有在我使用 jar with all dependencies
并将依赖关系的范围更改为 compiled
.
如果我把这个范围改成 provided
,那么我仍然可以很好地编译,但不能运行它。它给了我 ClassNotFoundException
. 我已经在 classpath
还有 path
但我仍然面临这个问题。
我可以使用compile选项,但是我真的很烦为什么不能用提供的选项运行它,如果有人能帮我找出原因,我会非常感激。
以下是我看到的错误:
java.lang.NoClassDefFoundError: Lorg/jsoup/nodes/Document;
at java.lang.Class.getDeclaredFields0(Native Method)
at java.lang.Class.privateGetDeclaredFields(Class.java:2300)
at java.lang.Class.getDeclaredField(Class.java:1882)
at java.io.ObjectStreamClass.getDeclaredSUID(ObjectStreamClass.java:1605)
at java.io.ObjectStreamClass.access$700(ObjectStreamClass.java:50)
at java.io.ObjectStreamClass$2.run(ObjectStreamClass.java:423)
at java.security.AccessController.doPrivileged(Native Method)
at java.io.ObjectStreamClass.<init>(ObjectStreamClass.java:411)
at java.io.ObjectStreamClass.lookup(ObjectStreamClass.java:308)
at java.io.ObjectOutputStream.writeObject0(ObjectOutputStream.java:1114)
at java.io.ObjectOutputStream.writeObject(ObjectOutputStream.java:330)
at backtype.storm.utils.Utils.serialize(Utils.java:52)
at backtype.storm.topology.TopologyBuilder.createTopology(TopologyBuilder.java:94)
at com.yahoo.amit.wordstorm.WordStormTopology.main(WordStormTopology.java:25)
Caused by: java.lang.ClassNotFoundException: org.jsoup.nodes.Document
at java.net.URLClassLoader$1.run(URLClassLoader.java:202)
at java.security.AccessController.doPrivileged(Native Method)
at java.net.URLClassLoader.findClass(URLClassLoader.java:190)
at java.lang.ClassLoader.loadClass(ClassLoader.java:306)
at sun.misc.Launcher$AppClassLoader.loadClass(Launcher.java:301)
at java.lang.ClassLoader.loadClass(ClassLoader.java:247)
... 14 more
以下是我的pom文件:
<project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"
xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 http://maven.apache.org/xsd/maven-4.0.0.xsd">
<modelVersion>4.0.0</modelVersion>
<groupId>com.yahoo.amit.wordstorm</groupId>
<artifactId>wordstorm</artifactId>
<version>1.0-SNAPSHOT</version>
<packaging>jar</packaging>
<name>wordstorm</name>
<url>http://maven.apache.org</url>
<repositories>
<repository>
<id>clojars.org</id>
<url>http://clojars.org/repo</url>
</repository>
</repositories>
<properties>
<project.build.sourceEncoding>UTF-8</project.build.sourceEncoding>
</properties>
<dependencies>
<dependency>
<groupId>storm</groupId>
<artifactId>storm</artifactId>
<version>0.8.2</version>
<scope>provided</scope>
</dependency>
<dependency>
<groupId>junit</groupId>
<artifactId>junit</artifactId>
<version>3.8.1</version>
<scope>test</scope>
</dependency>
<dependency>
<groupId>org.jsoup</groupId>
<artifactId>jsoup</artifactId>
<version>1.7.2</version>
<scope>provided</scope>
</dependency>
</dependencies>
<build>
<plugins>
<!--
bind the maven-assembly-plugin to the package phase
this will create a jar file without the storm dependencies
suitable for deployment to a cluster.
-->
<plugin>
<artifactId>maven-assembly-plugin</artifactId>
<configuration>
<descriptorRefs>
<descriptorRef>jar-with-dependencies</descriptorRef>
</descriptorRefs>
<archive>
<manifest>
<mainClass></mainClass>
</manifest>
</archive>
</configuration>
<executions>
<execution>
<id>make-assembly</id>
<phase>package</phase>
<goals>
<goal>single</goal>
</goals>
</execution>
</executions>
</plugin>
</plugins>
</build>
</project>
以下是我的系统变量:
echo $PATH
/Users/programmerman/Summer
Project/apache-maven-3.0.5/bin/:/Users/programmerman/Summer
Project/storm-0.8.2/bin/:/usr/bin:/bin:/usr/sbin:/sbin:/usr/local/bin:/usr/bin:/bin:/usr/sbin:/sbin:/usr/local/bin:/Users/programmerman/Summer
Project/CLASSPATH/jsoup-1.7.2.jar:/Users/programmerman/Summer
Project/CLASSPATH/*
echo $CLASSPATH
/Users/programmerman/Summer
Project/storm-0.8.2/storm-0.8.2.jar:/Users/programmerman/Summer
Project/storm-0.8.2/lib/*:/Users/programmerman/Summer
Project/storm-0.8.2/conf/storm.yaml:/Users/programmerman/SummerProject/storm-starter-masterPOM/target/storm-starter-0.0.1-SNAPSHOT-jar-with-dependencies.jar:/Users/programmerman/Summer
Project/CLASSPATH/jsoup-1.7.2.jar:/Users/programmerman/Summer
Project/CLASSPATH/*
3条答案
按热度按时间lpwwtiir1#
提供的maven范围意味着依赖项在编译时包含,但在运行时不包含。container/run脚本应该显式地包含它,这样我就可以看出您的思路是正确的。
其他可以检查以解决问题的方法是:
在运行java程序的shell示例上检查classpath环境变量。尽管您的用户shell上已经有了正确的classpath值,但通常您必须创建一个新的shell示例(即:运行脚本),并且classpath变量不会被传播。在unix上,通常使用
export
命令检查类路径是否有效,是否具有正确的文件系统权限,jar是否损坏
检查用于运行程序的java命令。如果您指定
-cp
它可能(或不)重写classpath环境变量hjzp0vay2#
storm脚本不使用classpath变量,而是将storm\u dir/lib目录中的所有jar放在其类路径中。所以你有两个选择:
将jsoup依赖项的作用域更改为“compile”作用域,并将其打包到具有依赖项的jar中。
将jsoup依赖项保留在“provided”范围内,并将jsoupjar复制到storm\u dir/lib目录中,以便storm脚本将该jar自动放入其类路径中。
我强烈推荐选项1,并遵循标准的maven方法。
仅供参考storm脚本是如何创建类路径字符串的:
z9ju0rcb3#
这既是关于maven的问题,也是关于storm及其部署模型的问题。你得看看
storm
命令实际上是这样的。首先,它实际上是一个python脚本,最终调用java
.如果你看看函数
get_classpath(extrajars)
,您会注意到它不使用$CLASSPATH
环境变量。相反,它加载核心storm jar和目录下的任何jarlib/
相对于您的工作目录,以及下的配置文件~/.storm
(你会发现$CLASSPATH
在许多java应用程序中非常常见。通常,“启动脚本”做的第一件事就是覆盖类路径或者根本不使用它。这是为了防止未知/不受支持/早期版本的jar在应用程序中引起问题)。至于当jsoup声明为“provided”时应用程序失败:当您将jar声明为提供的依赖项时,它将不会打包到“jar with dependencies”程序集中。请看这个问题以获得一个很好的解释:maven scope compile和为jar打包提供的不同之处
tl;dr的解释是编译作用域是随uberjar提供的,前提是作用域不是,因为它应该是由您要部署到的容器“提供”的。通常,“容器”是一个javaweb服务器,比如tomcat(因此,您不必在java中随web应用程序一起发布jsp或servlet jar)。在本例中,您希望“提供”类的“容器”是storm。但是,jsoup不是由storm提供的,因此您会出错。
编译作用域类仍然需要随应用程序一起提供,因为应用程序将示例化/使用接口、枚举等。
我的建议是只声明jsoup“compile”范围,然后继续。另一种方法是编写自己的定制部署脚本和/或将jsoup置于其下的程序集
lib/
-最后基本上是一样的。