连接flink和mysql数据库时sql所需的上下文属性不匹配

htzpubme 于 2021-06-21 发布在 Flink

关注(0)|答案(2)|浏览(354)

我正在使用flink最新版本（1.11.2）处理一个示例mysql数据库，该数据库运行良好。
此外，我还向{flink}/lib添加了flink-connector-jdbc2.11-1.11.2、mysql-connector-java-8.0.21.jar、postgresql-42.2.17.jar
这是我的密码

T_CONFIG = TableConfig()
B_EXEC_ENV = ExecutionEnvironment.get_execution_environment()
B_EXEC_ENV.set_parallelism(1)
BT_ENV = BatchTableEnvironment.create(B_EXEC_ENV, T_CONFIG)

ddl = """
            CREATE TABLE nba_player4 (
                 first_name STRING ,
                 last_name STRING,
                 email STRING,
                 id INT
            ) WITH (
                'connector' = 'jdbc',
                'url' = 'jdbc:mysql://localhost:3306/inventory',
                'username' = 'root',
                'password' = 'debezium',
                'table-name' = 'customers'
            )
      """;
BT_ENV.sql_update(ddl)

sinkddl = """
        CREATE TABLE print_table (
         f0 INT,
         f1 INT,
         f2 STRING,
         f3 DOUBLE
        ) WITH (
         'connector' = 'print'
        )
      """;
BT_ENV.sql_update(sinkddl)

sqlquery("SELECT first_name, last_name  FROM nba_player4 ");
BT_ENV.execute("table_job")

但是，在运行代码时，会出现错误

py4j.protocol.Py4JJavaError: An error occurred while calling o23.sqlQuery.
: org.apache.flink.table.api.ValidationException: SQL validation failed. findAndCreateTableSource failed.

Caused by: org.apache.flink.table.api.NoMatchingTableFactoryException: Could not find a suitable table factory for 'org.apache.flink.table.factories.TableSourceFactory' in
the classpath.

Reason: Required context properties mismatch.

The following properties are requested:
connector=jdbc
password=debezium
schema.0.data-type=VARCHAR(2147483647)
schema.0.name=first_name
schema.1.data-type=VARCHAR(2147483647)
schema.1.name=last_name
schema.2.data-type=VARCHAR(2147483647)
schema.2.name=email
schema.3.data-type=INT
schema.3.name=id
table-name=customers
url=jdbc:mysql://localhost:3306/inventory
username=root

The following factories have been considered:
org.apache.flink.connector.jdbc.table.JdbcTableSourceSinkFactory
org.apache.flink.table.sources.CsvBatchTableSourceFactory
org.apache.flink.table.sources.CsvAppendTableSourceFactory
org.apache.flink.streaming.connectors.kafka.KafkaTableSourceSinkFactory
org.apache.flink.table.filesystem.FileSystemTableFactory

最新的：
这是我的docker yml文件。

version: '2.1'
services:
  jobmanager:
    build: .
    image: flink:latest
    hostname: "jobmanager"
    expose:
      - "6123"
    ports:
      - "8081:8081"
    command: jobmanager
    environment:
      - JOB_MANAGER_RPC_ADDRESS=jobmanager
  taskmanager:
    image: flink:latest
    expose:
      - "6121"
      - "6122"
    depends_on:
      - jobmanager
    command: taskmanager
    links:
      - jobmanager:jobmanager
    environment:
      - JOB_MANAGER_RPC_ADDRESS=jobmanager
  mysql:
    image: debezium/example-mysql
    ports:
     - "3306:3306"
    environment:
     - MYSQL_ROOT_PASSWORD=debezium
     - MYSQL_USER=mysqluser
     - MYSQL_PASSWORD=mysqlpw

docker ps命令显示

CONTAINER ID        IMAGE                       COMMAND                  CREATED             STATUS              PORTS                                                            NAMES
cf84c84f7821        flink      "/docker-entrypoint.…"   2 minutes ago       Up 2 minutes        6121-6123/tcp, 8081/tcp                                          _taskmanager_1
09b19142d70a        flink      "/docker-entrypoint.…"   9 minutes ago       Up 9 minutes        6123/tcp, 0.0.0.0:8081->8081/tcp                                 _jobmanager_1
4ac01eb11bf7        debezium/example-mysql      "docker-entrypoint.s…"   3 days ago          Up 9 minutes        0.0.0.0:3306->3306/tcp, 33060/tcp                                keras-flask-dep

更多信息：
我现在在docker的flink环境是flink:scala_2.12-java8

docker pull flink:scala_2.12-java8

pyflink jdbc连接器是flink 1.11版本的flink-connector-jdbc_2.11-1.11.2.jar。

https://ci.apache.org/projects/flink/flink-docs-release-1.11/dev/table/connectors/jdbc.html

为了使用jdbc库，我尝试了两种方法
将flink-connector-jdbc2.11-1.11.2.jar保存到/usr/local/lib/python3.7/site-packages/flink/lib中
在python应用程序中配置类路径

base_dir = "/Users/huhu/Documents/projects/webapp/libs/"
 flink_jdbc_jar = f"file://{base_dir}flink-connector-jdbc_2.11-1.11.2.jar"

BT_ENV.get_config().get_configuration().set_string("pipeline.jars",jars)

但仍然得到同样的错误

sql mysql create-table apache-flink pyflink

来源：https://stackoverflow.com/questions/64254996/required-context-properties-mismatch-in-connecting-the-flink-with-mysql-database

2条答案

按热度按时间

r6l8ljro1#

这也许不能完全回答这个问题，但是：从mysql的Angular 来看，您的 CREATE TABLE 语句不是有效的sql，将引发语法错误。原因是 VARCHAR 数据类型需要长度（即列可以容纳的最大字符数）。
例如：

CREATE TABLE nba_player4 (
    first_name VARCHAR(20),
    last_name  VARCHAR(20),
    email      VARCHAR(50),
    id         VARCHAR(10)
);

现在这是有效的mysql代码。不过，我还建议在表中定义一个主键。在数据库设计中，这是一种很好的做法，原因有很多，其中一个原因是能够唯一地标识每个记录：这使得使用 WHERE 子句，或构建引用表的外键约束。一个名为 id 可能是一个很好的候选人-可能会更好地定义为一个自动递增的整数。
所以，玛比：

CREATE TABLE nba_player4 (
    first_name VARCHAR(20),
    last_name  VARCHAR(20),
    email      VARCHAR(50),
    id         INT PRIMARY KEY AUTO_INCREMENT
);

赞(0）回复(0）举报 2021-06-21

pobjuy322#

您能验证您使用的所有组件版本吗。很可能您没有使用1.9版本的flink，因为我看到它生成了一种新的数据类型属性格式，这是在以后的版本中引入的。
在flink 1.9中（至少在我选中的1.9.3中是这样），属性的格式应该是： schema.#.type ，而你的情况是 schema.#.data-type .
我建议要么升级到最新的flink版本，要么至少确保使用相同版本的所有组件。

赞(0）回复(0）举报 2021-06-21

我来回答

连接flink和mysql数据库时sql所需的上下文属性不匹配

2条答案

相关问题

热门标签

最新问答