如何构建和使用flink connector kinesis?

ojsjcaue  于 2021-06-21  发布在  Flink
关注(0)|答案(2)|浏览(836)

我试着用apache-flink和aws-kinesis。文件上说我必须自己制作连接器。
因此,我构建了连接器,并为我的项目添加了jar文件,还将依赖关系放在pom.xml文件上。

  1. <dependency>
  2. <groupId>org.apache.flink</groupId>
  3. <artifactId>flink-connector-kinesis_2.11</artifactId>
  4. <version>1.6.1</version>
  5. </dependency>

但是,当我尝试使用 mvn clean package 我收到了这样的错误信息

  1. [INFO] -----------------------< kkaldk:flink-kinesis >-----------------------
  2. [INFO] Building Flink Quickstart Job 0.1
  3. [INFO] --------------------------------[ jar ]---------------------------------
  4. [WARNING] The POM for org.apache.flink:flink-connector-kinesis_2.11:jar:1.6-SNAPSHOT is missing, no dependency information available
  5. [INFO] ------------------------------------------------------------------------
  6. [INFO] BUILD FAILURE
  7. [INFO] ------------------------------------------------------------------------
  8. [INFO] Total time: 0.458 s
  9. [INFO] Finished at: 2018-12-19T17:45:43+09:00
  10. [INFO] ------------------------------------------------------------------------
  11. [ERROR] Failed to execute goal on project flink-kinesis: Could not resolve dependencies for project kkaldk:flink-kinesis:jar:0.1: Failure to find org.apache.flink:flink-connector-kinesis_2.11:jar:1.6-SNAPSHOT in https://repository.apache.org/content/repositories/snapshots/ was cached in the local repository, resolution will not be reattempted until the update interval of apache.snapshots has elapsed or updates are forced ->
  12. [Help 1]
  13. [ERROR]

你能帮我修一下吗?
---------添加

ecr0jaav

ecr0jaav1#

这是我做的(这是错误的程序)
根据此文档启动项目
从flink主源代码(1.8-snapshot)生成连接器
添加1.6.1版本的依赖项。

kd3sttzy

kd3sttzy2#

这就是我为解决问题所做的。
我从这里下载了1.6.1版本。
解压文件(存档将在 .../flink-release-1.6.1/ 它是由 mvn clean install -Pinclude-kinesis -DskipTests 然后我在本地maven存储库中有flink-connector-kinesis\u2.11版本1.6.1
(对我来说,路径是这样的): ~/.m2/repository/org/apache/flink/flink-connector-kinesis_2.11 在那之后,我可以在任何项目中使用这个连接器,方法是用这个代码添加依赖项(我不必再添加jar文件了。)

  1. <dependency>
  2. <groupId>org.apache.flink</groupId>
  3. <artifactId>flink-connector-kinesis_2.11</artifactId>
  4. <version>1.6.1</version>
  5. </dependency>

相关问题