如果不使用groupby
,如何过滤掉没有NaN
的数据?
假设我有一个矩阵,其中客户将填写'N/A','n/a'
或其任何变体,而其他人将其留空:
import pandas as pd
import numpy as np
df = pd.DataFrame({'movie': ['thg', 'thg', 'mol', 'mol', 'lob', 'lob'],
'rating': [3., 4., 5., np.nan, np.nan, np.nan],
'name': ['John', np.nan, 'N/A', 'Graham', np.nan, np.nan]})
nbs = df['name'].str.extract('^(N/A|NA|na|n/a)')
nms=df[(df['name'] != nbs) ]
输出:
>>> nms
movie name rating
0 thg John 3
1 thg NaN 4
3 mol Graham NaN
4 lob NaN NaN
5 lob NaN NaN
如何过滤掉NaN
值,以便得到如下所示的结果:
movie name rating
0 thg John 3
3 mol Graham NaN
我猜我需要像~np.isnan
这样的东西,但是tilda不能处理字符串。
7条答案
按热度按时间kgsdhlau1#
最简单的解决方案:
因此,它只过滤掉'name'列中没有NaN值的行。
smdncfj32#
把它们放下:
这将丢弃至少存在两个非-
NaN
的所有行。然后,您可以在name为
NaN
的位置放置:实际上,查看您最初想要的内容时,无需
dropna
调用就可以做到这一点:3年后再看这个问题,会发现一个错误,首先
thresh
arg查找至少n
非NaN
值,因此实际上输出应为:有可能是我3年前弄错了,或者是我运行的Pandas版本有bug,这两种情况都是完全可能的。
nfeuvbwi3#
9cbw7uwe4#
5sxhfpxr5#
您也可以使用
query
:输出:
hgqdbh6s6#
在
query()
内部传递column_name == column_name
以保留column_name
不是NA
的行。对于您的情况:
58wvjzkj7#
您可以将负值过滤到具有na值的列:dt = dt[~dt[要过滤的列].isna().all(1)]