我们在aws的kubernetes 1.8中运行flink。好几个月了。我已经安装了一个新的k8s集群。一切都一样,除了我们启用了印花布(而不是只使用法兰绒)
就像法兰绒一样,印花布让我们在集装箱之间建立联系。
由于启用了calico,flink客户端在尝试向作业管理器发送jar文件时收到以下错误:
org.apache.flink.client.program.programinvocationexception:程序执行失败:无法将jar文件上载到作业管理器。原因:java.io.ioexception:无法检索jobmanager的blob端口。原因:java.io.ioexception:put操作失败:连接重置原因:java.net.socketexception:连接重置
工作经理说:
java.lang.illegalargumentexception:永久blob的blob寻址无效2018-03-27 06:28:16069 info org.apache.flink.runtime.jobmanager.jobmanager-提交作业11433fc332c7d76100fd08e6d1b623b4(flink作业连接测试)。2018-03-27 06:28:16085 info org.apache.flink.runtime.jobmanager.jobmanager-对11433fc332c7d76100fd08e6d1b623b4使用重启策略norestartstrategy。2018-03-27 06:28:16096 info org.apache.flink.runtime.executiongraph.executiongraph-通过故障转移策略进行作业恢复:完全图重新启动2018-03-27 06:28:16105 info org.apache.flink.runtime.jobmanager.jobmanager-在主机上运行job flink作业连接测试的初始化(11433fc332c7d76100fd08e6d1b623b4)。2018-03-27 06:28:16105 info org.apache.flink.runtime.jobmanager.jobmanager-在0毫秒内成功运行主机初始化。2018-03-27 06:28:16,117 error org.apache.flink.runtime.jobmanager.jobmanager-提交作业11433fc332c7d76100fd08e6d1b623b4(ignite-flink作业连接测试)java.lang.nullpointerexception失败,位于org.apache.flink.util.prerequisions.checknotnull(prerequisions)。java:58)在org.apache.flink.runtime.checkpoint.checkpointstatstracker.(checkpointstatstracker。java:121)在org.apache.flink.runtime.executiongraph.executiongraphbuilder.buildgraph(executiongraphbuilder。java:228)在org.apache.flink.runtime.jobmanager.jobmanager.org$apache$flink$runtime$jobmanager$jobmanager$$submitjob(作业管理器)。scala:1277)在org.apache.flink.runtime.jobmanager.jobmanager$$anonfun$handlemessage$1.applyorelse(作业管理器。scala:447)在scala.runtime.abstractpartialfunction.apply(abstractpartialfunction。scala:36)
文件似乎无法从客户端传输到作业管理器。我认为无效的blob寻址是因为作业管理器没有收到任何文件。
一切都一样。在一个集群上工作。对另一个不起作用。端口配置相同。每件艺术品都是一样的。
我们没有任何网络策略。但启用印花布会对网络产生某种形式的影响吗?
1条答案
按热度按时间wmvff8tz1#
问题解决了。我把它添加到我的flink任务管理器清单文件中
名称:数据端口:6121
名称:rpc端口:6122
名称:查询端口:6125
在flink conf文件中:
taskmanager.data.port:6121
所以基本上我为任务管理器固定了一个数据端口。我已经为作业管理器(blob服务器端口)完成了这项工作。一切都很好。但看起来花布和法兰绒的工作原理不同,它不能为任务管理器使用随机数据端口