Pandas -将大型 Dataframe 分割为数据块

zujrkrfu 于 2022-11-20 发布在其他

关注(0)|答案(3)|浏览(279)

我有一个很大的 Dataframe （〉3MM行），我试图通过一个函数传递（下面的一个函数在很大程度上被简化了），我一直得到一个Memory Error消息。
我想我传递给函数的 Dataframe 太大了，所以我尝试：
1)将 Dataframe 划分为更小的区块**（最好按AcctName划分）**
2)将 Dataframe 传递给函数
3)将 Dataframe 连接回一个大型 Dataframe

def trans_times_2(df):
    df['Double_Transaction'] = df['Transaction'] * 2

large_df 
AcctName   Timestamp    Transaction
ABC        12/1         12.12
ABC        12/2         20.89
ABC        12/3         51.93    
DEF        12/2         13.12
DEF        12/8          9.93
DEF        12/9         92.09
GHI        12/1         14.33
GHI        12/6         21.99
GHI        12/12        98.81

我知道我的函数可以正常工作，因为它可以在较小的 Dataframe 上工作（例如40，000行）。我尝试了以下方法，但我无法将小 Dataframe 连接回一个大 Dataframe 。

def split_df(df):
    new_df = []
    AcctNames = df.AcctName.unique()
    DataFrameDict = {elem: pd.DataFrame for elem in AcctNames}
    key_list = [k for k in DataFrameDict.keys()]
    new_df = []
    for key in DataFrameDict.keys():
        DataFrameDict[key] = df[:][df.AcctNames == key]
        trans_times_2(DataFrameDict[key])
    rejoined_df = pd.concat(new_df)

我如何设想拆分 Dataframe ：

df1
AcctName   Timestamp    Transaction  Double_Transaction
ABC        12/1         12.12        24.24
ABC        12/2         20.89        41.78
ABC        12/3         51.93        103.86

df2
AcctName   Timestamp    Transaction  Double_Transaction
DEF        12/2         13.12        26.24
DEF        12/8          9.93        19.86
DEF        12/9         92.09        184.18

df3
AcctName   Timestamp    Transaction  Double_Transaction
GHI        12/1         14.33        28.66
GHI        12/6         21.99        43.98
GHI        12/12        98.81        197.62

pandas

来源：https://stackoverflow.com/questions/44729727/pandas-slice-large-dataframe-into-chunks

3条答案

按热度按时间

bzzcjhmw1#

您可以使用列表解析将 Dataframe 拆分为包含在列表中的较小 Dataframe 。

n = 200000  #chunk row size
list_df = [df[i:i+n] for i in range(0,df.shape[0],n)]

或者使用numpy array_split，查看以下注解以了解差异：

list_df = np.array_split(df, n)

您可以通过以下方式访问块：

list_df[0]
list_df[1]
etc...

然后，您可以使用pd.concat将其组装回一个 Dataframe 。
按帐户名称

list_df = []

for n,g in df.groupby('AcctName'):
    list_df.append(g)

赞(0）回复(0）举报 2022-11-20

o2gm4chl2#

我建议使用一个依赖more_itertools，它处理所有的边缘情况，比如 Dataframe 的不均匀分区，并返回一个迭代器，这将使事情更有效一点。
（使用@Acumenus的代码更新）

from more_itertools import sliced
CHUNK_SIZE = 5

index_slices = sliced(range(len(df)), CHUNK_SIZE)

for index_slice in index_slices:
  chunk = df.iloc[index_slice] # your dataframe chunk ready for use

赞(0）回复(0）举报 2022-11-20

myzjeezk3#

我喜欢@ScottBoston的答案，虽然我还没有记住咒语。下面是一个更详细的函数，它可以做同样的事情：

def chunkify(df: pd.DataFrame, chunk_size: int):
    start = 0
    length = df.shape[0]

    # If DF is smaller than the chunk, return the DF
    if length <= chunk_size:
        yield df[:]
        return

    # Yield individual chunks
    while start + chunk_size <= length:
        yield df[start:chunk_size + start]
        start = start + chunk_size

    # Yield the remainder chunk, if needed
    if start < length:
        yield df[start:]

要重建 Dataframe ，请将每个块累积到列表中，然后pd.concat(chunks, axis=1)

赞(0）回复(0）举报 2022-11-20

我来回答

Pandas -将大型 Dataframe 分割为数据块

3条答案

相关问题

热门标签

最新问答