我创建了一个简单的golang-apache-beam管道，它与 DirectRunner . 我尝试使用以下命令将其部署到spark群集上： ./bin/spark-submit --master=spark://vm:7077 main.go --runner=SparkRunner --job_endpoint=localhost:8099 --artifact_endpoint=localhost:8098 --environment_type=LOOPBACK --output=/tmp/output 在提交申请之前，我先运行了 job_endpoint 使用以下命令： ./gradlew :runners:spark:job-server:runShadow -PsparkMasterUrl=spark://localhost:7077 spark上的作业失败，出现以下错误： WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable Exception in thread "main" org.apache.spark.SparkException: Failed to get main class in JAR with error 'null'. Please specify one with --class. 似乎我需要指定类参数，但我不明白错误是什么意思？我能得到帮助吗？
1条答案
按热度按时间mo49yndu1#
spark submit是一个spark实用程序，它接受javajar或python脚本。它不知道如何运行围棋程序。
我用spark runner的说明更新了beam go快速入门指南。如果对你有用，请告诉我。