我读过这本书 Heron Documents 关于 Implementing a Custom Scheduler . 我知道我应该实现一些接口来实现一个定制的调度器，比如 ILauncher , IPacking , IScheduler 以及 IUploader .
我已经意识到 CustomScheduler 已实施 IScheduler 接口，我想使用 LocalLauncher , LocalUploader 以及 default Packing algorithm 与我的自定义计划。
而且，我修改了heron配置文件 scheduler.yaml 位于 conf/local/ 使用自定义计划程序。同时，我添加了 CustomScheduler.jar 至 heron-core/lib/scheduler/ . 但是，日志显示出了一些问题：
[2018-04-15 20:44:27 -0700] [STDERR] stderr: Exception in thread "main"
[2018-04-15 20:44:27 -0700] [STDERR] stderr: com.twitter.heron.spi.scheduler.SchedulerException: Failed to instantiate scheduler using class 'com.zyt.heron.custom.scheduler.CustomScheduler'
[2018-04-15 20:44:27 -0700] [STDERR] stderr: at com.twitter.heron.scheduler.utils.LauncherUtils.getSchedulerInstance(LauncherUtils.java:120)
[2018-04-15 20:44:27 -0700] [STDERR] stderr: at com.twitter.heron.scheduler.SchedulerMain.runScheduler(SchedulerMain.java:382)
[2018-04-15 20:44:27 -0700] [STDERR] stderr: at com.twitter.heron.scheduler.SchedulerMain.main(SchedulerMain.java:218)我该怎么解决这个问题？谢谢你的帮助！
3条答案
按热度按时间euoag5mw1#
关键是通过将jar文件复制到.heron/lib/文件夹中，将编译好的.jar文件提供给heron。
我想实现一个自定义的调度程序和打包算法，而不必重新编译heron。
我有一个名为“packing”的项目，它具有maven依赖项heron.api和heron.spi。
我的jar名为“packing-0.0.1-snapshot-jar-with-dendencies.jar，它是用maven构建的。对我有效的是在一个小shell脚本中总结的以下步骤。我将它从打包项目文件夹中运行到汇编命令works：
然后，只需将自定义打包或计划程序添加到配置中：
packing.yaml中的示例：
在我的packing项目中，com.hcep.packing是我的包结构，custompacking是我的packing类。
pgccezyw2#
您可以为heron开发定制的调度器-请遵循代码库中调度器的任何实现。
lpwwtiir3#
出现异常的直接原因是您的自定义计划程序没有与heron版本一起打包。
要使自定义计划程序正常工作，可以执行以下步骤：
将实现添加到目录中
heron/schedulers/src/java/com/twitter/heron/scheduler更新BUILD目录中的文件heron/schedulers/src/java将自定义计划程序生成目标添加到tools/rules/heron_client.bzl以及tools/rules/heron_core.bzl以下是如何打包本地计划程序的示例：https://github.com/apache/incubator-heron/search?utf8=%e2%9c%93&q=heron-local-scheduler&type=