pandas 在panda中指定read_sql的数据类型

tkqqtvp1 于 2023-01-28 发布在其他

关注(0)|答案(5)|浏览(334)

我想指定执行www.example.com _sql时返回的数据类型pandas.read。我特别感兴趣的是节省内存和将浮点值作为np.float32而不是np.float64返回。我知道以后可以使用astype进行转换（np.float32），但这并不能解决初始查询中需要大量内存的问题。在我的实际代码中，我将提取8400万行，pandas.read_csv允许将dtype指定为dict，但我看不到用read_sql可以做到这一点。
我使用的是MySQLdb和Python 2.7。
顺便说一句，read_sql在运行时使用的内存（大约是最终DataFrame存储所需内存的2倍）似乎要多得多。

In [70]: df=pd.read_sql('select ARP, ACP from train where seq < 5', connection)

In [71]: df
Out[71]: 
   ARP      ACP
0  1.17915  1.42595
1  1.10578  1.21369
2  1.35629  1.12693
3  1.56740  1.61847
4  1.28060  1.05935

In [72]: df.dtypes
Out[72]: 
ARP    float64
ACP    float64
dtype: object

pandas

来源：https://stackoverflow.com/questions/39000481/specifying-dtypes-for-read-sql-in-pandas

5条答案

按热度按时间

wh6knrhe1#

你可以使用pandas read_sql_query来指定返回的数据类型（仅在pandas 1.3之后支持）。

pd.read_sql_query('select ARP, ACP from train where seq < 5', connection,
                  dtype={'ARP': np.float32, 'ACP': np.float32})

赞(0）回复(0）举报 2023-01-28

agyaoht72#

顺便说一句，read_sql在运行时使用的内存（大约是最终DataFrame存储所需内存的2倍）似乎要多得多。
也许你可以试试我们的工具ConnectorX（pip install -U connectorx），它是在Rust中实现的，旨在提高pandas.read_sql在时间和内存使用方面的性能，并提供类似的接口，要切换到它，你只需要：

import connectorx as cx
conn_url = "mysql://username:password@server:port/database"
query = "select ARP, ACP from train where seq < 5"
df = cx.read_sql(conn_url, query)

pandas.read_sql在运行过程中使用大量内存的原因是因为它的大型中间python对象，在ConnectorX中我们使用Rust和流处理来解决这个问题。
以下是一些基准测试结果：

PostgreSQL语言：
数据库：

赞(0）回复(0）举报 2023-01-28

2skhul333#

那么cast（）和convert（）呢？

'SELECT cast(ARP as float32()), cast (ACP as float32()) from train where seq < 5'

或者类似的东西。
http://www.smallsql.de/doc/sql-functions/system/convert.html

赞(0）回复(0）举报 2023-01-28

lp0sw83n4#

看看this github问题，看起来他们倾向于添加该选项。

赞(0）回复(0）举报 2023-01-28

ybzsozfc5#

强制转换SQL代码中的数据类型。Python将遵循SQL代码中的显式数据类型。您可以在执行www.example.com（）时确认这一点df.info

赞(0）回复(0）举报 2023-01-28

我来回答

pandas 在panda中指定read_sql的数据类型

5条答案

相关问题

热门标签

最新问答