如何使用slqalchemy和mysql加速向表中插入400万行的Dataframe

bogh5gae  于 2021-06-20  发布在  Mysql
关注(0)|答案(0)|浏览(362)

我有一个有400万行的Dataframe,我用sql把它插入到一个exist表中,但是完成插入几乎需要2个小时,有没有办法加快速度?
我用这个方法:

import pandas as pd
from sqlalchemy import create_engine, types

def _execute_insert(self, conn, keys, data_iter):
    data = [dict((k,v) for k, v in zip(keys, row)) for row in data_iter]
    conn.execute(self.insert_statement().values(data))
    df.to_sql(raw_table_name[i], con=db, index=False, if_exists='append',chunksize=50000)

方法网站
有没有办法加快速度?

暂无答案!

目前还没有任何答案,快来回答吧!

相关问题