我想在 Docker 的帮助下使用Flink。我想作为启动运行socketwordcount示例。但在这个阶段我遇到了一个错误。我不能用插座连接。所以20毫秒后,Flink完成了工作。
docker撰写:
version: "3"
services:
jobmanager:
image: ${FLINK_DOCKER_IMAGE_NAME:-flink:1.3.2-hadoop24-scala_2.11-alpine}
expose:
- "6123"
ports:
- "8081:8081"
command: jobmanager
environment:
- JOB_MANAGER_RPC_ADDRESS=jobmanager
taskmanager:
image: ${FLINK_DOCKER_IMAGE_NAME:-flink:1.3.2-hadoop24-scala_2.11-alpine}
expose:
- "6121"
- "6122"
- "9000"
depends_on:
- jobmanager
command: taskmanager
links:
- "jobmanager:jobmanager"
environment:
- JOB_MANAGER_RPC_ADDRESS=jobmanager
在我完成docker组装之后,我进入正在运行的jobmanager。
nc -l 6123
我正在运行。然后在另一个终端的帮助下进入jobmanager容器
./bin/flink run examples/streaming/SocketWindowWordCount.jar -port 6123
我遵循Flink文档中的说明;我想实现的是计算用nc发送的单词数,并将结果写入.out文件。但在这里,flink在20毫秒后关闭。当我用docker compose logs查看日志时,我看到它关闭了,因为没有建立连接。我很抱歉我的英语不好。我不知道是什么问题。如果你想知道更多关于这个主题,我可以把我的作品顺序直观地公布出来。
2条答案
按热度按时间oxosxuxt1#
问题是实际工作发生在taskmanager上。jobmanager只负责协调工作。也就是说,尝试在taskmanager节点上建立连接。你可以试着跑
在taskmanager上。
作为提示,使用套接字连接的示例并不适合分布式设置。
2ekbmq322#
我是这样做的:
首先我跑了
在我笔记本电脑的终端里(不是在容器里)。
然后我跑了
在jobmanager容器中,192.168.1.109是我笔记本电脑的ip地址。
最后,我用
查看作业的输出(其中
stuff_taskmanager_1
运行taskmanager的容器的名称,由使用docker ps
).