有没有可能从flink作业中触发spark作业并从中获取数据？

w8ntj3qf 于 2021-06-25 发布在 Flink

关注(0)|答案(1)|浏览(367)

我正在使用flink从azure数据湖读取数据。但是flink无法找到azure数据湖文件系统。我已经实现了spark来读取azure数据湖文件系统文件。
所以我尝试的是触发flink的spark来读取azure数据湖中的数据，然后执行一些逻辑并将列表返回给flink。所以Flink可以利用这些数据？
有可能触发Flink的Spark任务吗？或者如何配置flink来理解azure数据湖文件系统。有人能给我指点一下吗？

apache-spark apache-flink azure-data-lake

来源：https://stackoverflow.com/questions/45032015/is-it-possible-to-trigger-a-spark-job-from-the-flink-job-and-get-the-data-from-i