Pandas，如何仅填充最后一行的nan值与前一行最接近

6vl6ewon 于 2023-03-16 发布在其他

关注(0)|答案(2)|浏览(110)

import pandas as pd
import numpy as np

df = pd.DataFrame(np.random.randint(0, 10, (10, 10)), columns=list('ABCDEFGHIJ'))
df[df > 5] = np.nan

for i in range(10):
    df.iloc[i, i % 10] = np.nan

print(df)

原点df为：

A    B    C    D    E    F    G    H    I    J
0  NaN  2.0  NaN  0.0  5.0  4.0  1.0  NaN  NaN  0.0
1  3.0  NaN  NaN  NaN  2.0  0.0  1.0  1.0  NaN  1.0
2  NaN  5.0  NaN  5.0  NaN  0.0  5.0  0.0  4.0  NaN
3  2.0  NaN  NaN  NaN  3.0  5.0  NaN  NaN  NaN  5.0
4  NaN  2.0  NaN  0.0  NaN  NaN  2.0  NaN  2.0  0.0
5  NaN  NaN  NaN  2.0  NaN  NaN  NaN  NaN  0.0  5.0
6  NaN  NaN  0.0  NaN  2.0  NaN  NaN  1.0  NaN  NaN
7  NaN  5.0  1.0  2.0  4.0  NaN  3.0  NaN  3.0  2.0
8  1.0  5.0  1.0  NaN  3.0  NaN  1.0  NaN  NaN  5.0
9  0.0  NaN  NaN  NaN  3.0  NaN  2.0  3.0  5.0  NaN

我只想用前一行最接近的非nan值填充最后一行，我有一个大的 Dataframe ，所以我想用最快的方法保存最多的内存，变成：

A    B    C    D    E    F    G    H    I    J
0  NaN  2.0  NaN  0.0  5.0  4.0  1.0  NaN  NaN  0.0
1  3.0  NaN  NaN  NaN  2.0  0.0  1.0  1.0  NaN  1.0
2  NaN  5.0  NaN  5.0  NaN  0.0  5.0  0.0  4.0  NaN
3  2.0  NaN  NaN  NaN  3.0  5.0  NaN  NaN  NaN  5.0
4  NaN  2.0  NaN  0.0  NaN  NaN  2.0  NaN  2.0  0.0
5  NaN  NaN  NaN  2.0  NaN  NaN  NaN  NaN  0.0  5.0
6  NaN  NaN  0.0  NaN  2.0  NaN  NaN  1.0  NaN  NaN
7  NaN  5.0  1.0  2.0  4.0  NaN  3.0  NaN  3.0  2.0
8  1.0  5.0  1.0  NaN  3.0  NaN  1.0  NaN  NaN  5.0
9  0.0  5.0  1.0  2.0  3.0  5.0  2.0  3.0  5.0  5.0

pandas

来源：https://stackoverflow.com/questions/75711280/pandas-how-only-fillna-for-last-row-with-preceding-line-closest-non-nan-value

2条答案

按热度按时间

68bkxrlz1#

快速解决方案

v = df.values
ix = len(df) - 1 - (~np.isnan(v))[::-1].argmax(0)

df.iloc[-1, :] = v[ix, range(df.shape[1])]

结果

A    B    C    D    E    F    G    H    I    J
0  NaN  2.0  NaN  0.0  5.0  4.0  1.0  NaN  NaN  0.0
1  3.0  NaN  NaN  NaN  2.0  0.0  1.0  1.0  NaN  1.0
2  NaN  5.0  NaN  5.0  NaN  0.0  5.0  0.0  4.0  NaN
3  2.0  NaN  NaN  NaN  3.0  5.0  NaN  NaN  NaN  5.0
4  NaN  2.0  NaN  0.0  NaN  NaN  2.0  NaN  2.0  0.0
5  NaN  NaN  NaN  2.0  NaN  NaN  NaN  NaN  0.0  5.0
6  NaN  NaN  0.0  NaN  2.0  NaN  NaN  1.0  NaN  NaN
7  NaN  5.0  1.0  2.0  4.0  NaN  3.0  NaN  3.0  2.0
8  1.0  5.0  1.0  NaN  3.0  NaN  1.0  NaN  NaN  5.0
9  0.0  5.0  1.0  2.0  3.0  5.0  2.0  3.0  5.0  5.0

赞(0）回复(0）举报 2023-03-16

kyxcudwk2#

您可以执行向前填充并将最后一行

df.iloc[-1] = df.ffill().iloc[-1]

print(df)

     A    B    C    D    E    F    G    H    I    J
0  NaN  2.0  NaN  0.0  5.0  4.0  1.0  NaN  NaN  0.0
1  3.0  NaN  NaN  NaN  2.0  0.0  1.0  1.0  NaN  1.0
2  NaN  5.0  NaN  5.0  NaN  0.0  5.0  0.0  4.0  NaN
3  2.0  NaN  NaN  NaN  3.0  5.0  NaN  NaN  NaN  5.0
4  NaN  2.0  NaN  0.0  NaN  NaN  2.0  NaN  2.0  0.0
5  NaN  NaN  NaN  2.0  NaN  NaN  NaN  NaN  0.0  5.0
6  NaN  NaN  0.0  NaN  2.0  NaN  NaN  1.0  NaN  NaN
7  NaN  5.0  1.0  2.0  4.0  NaN  3.0  NaN  3.0  2.0
8  1.0  5.0  1.0  NaN  3.0  NaN  1.0  NaN  NaN  5.0
9  0.0  5.0  1.0  2.0  3.0  5.0  2.0  3.0  5.0  5.0

您还可以考虑筛选最后一行不是NaN的列。

df.loc[df.index[-1], df.iloc[-1].isna()] = df.loc[:, df.iloc[-1].isna()].ffill().iloc[-1]

或者仅查找last_valid_index的最后一个非nan值

df.iloc[-1] = df.apply(lambda s: s[s.last_valid_index()])
# or
df.loc[df.index[-1], df.iloc[-1].isna()] = df.loc[:, df.iloc[-1].isna()].apply(lambda s: s[s.last_valid_index()])

赞(0）回复(0）举报 2023-03-16

我来回答

Pandas，如何仅填充最后一行的nan值与前一行最接近

2条答案

快速解决方案

相关问题

热门标签

最新问答