DataX mysqlreader不支持fetchsize的话，抽取数据是否只执行一次sql

b5lpy0ml 于 4个月前发布在 Mysql

关注(0)|答案(5)|浏览(195)

我指定了where条件 create_time between '2022-10-13 00:00:00' and '2023-10-13 00:00:00'
一年中的数据量达几千万条，是否会有oom的问题呢？

5条答案

第一：是支持fetchsize的

第二：数据是一个一个发送到写插件，写插件的一般处理策略都是有一个批量的功能，判断数据达到了一批的要求就会开始写入到磁盘。这批数据就不会再内存里。

@FuYouJ 多谢。我是看到文档说不支持，可能是文档未更新：

@FuYouJ 多谢。我是看到文档说不支持，可能是文档未更新：

对不起，确实不支持。

代码写的是不需要，应该是支持流式读取？

看看preparestatement forward only

@FuYouJ 多谢。我是看到文档说不支持，可能是文档未更新：

对不起，确实不支持。

代码写的是不需要，应该是支持流式读取？

是传 fetchSize 没有用，但是支持流式读取的：

MySQL 官方文档也有说明：