我在python上处理sql，我对pandas Dataframe 比SQL语句更熟悉，所以我想导入MySQL DB上的整个数据，然后在python上处理它。而且，我现在有点担心我的内存错误。
Pandas需要内存来储存所有的数据吗？或者即使内存足够小，只储存结果就足够了吗？
import pandas as pd
import sqlalchemy
engine = sqlalchemy.create_engine("mysql://" + "root" + ":" + "password" + "@" + "localhost" + "/" + "mydb")
df = pd.read_sql_table('table1', engine)
# some operations
print(df)
2条答案
按热度按时间4uqofj5v1#
您需要比结果更多的内存，因为您将对结果执行一些操作，所以这些操作也需要内存。此外，内存不仅包含查询的结果，还包含大量已经存在的数据。如果内存有问题，您可以使用
LIMIT和OFFSET子句提取少量数据。qcuzuvrc2#
Pandas需要比数据大小更多的内存。
如果您只想查询数据库的一部分以避免内存不足，请参阅this线程。