使用Python将日常大量数据导入csv的最佳方法

rpppsulh  于 2023-05-11  发布在  Python
关注(0)|答案(1)|浏览(163)

我需要使用Selenium使用Python进行Web抓取数据,因为我从中获取数据的网站动态创建内容。由于大量的数据(行)和具体的网站,我将需要让程序每天运行(也许一个月)。最终,所有数据将存储在CSV文件中。
我在考虑insert每次迭代的每一行数据到PostgreSQL,当我完成抓取时,将表复制到CSV文件。我的另一个选择是保持打开CSV文件,并在每次迭代中逐行执行append
最有效的方法是什么?

kknvjkwl

kknvjkwl1#

关于docs

  • “请注意,使用COPY加载大量行几乎总是比使用INSERT快.."*

相关问题