pandas Python panda从字符串列的数据选择中过滤掉nan

nzkunb0c  于 2023-01-24  发布在  Python
关注(0)|答案(7)|浏览(128)

如果不使用groupby,如何过滤掉没有NaN的数据?
假设我有一个矩阵,其中客户将填写'N/A','n/a'或其任何变体,而其他人将其留空:

import pandas as pd
import numpy as np

df = pd.DataFrame({'movie': ['thg', 'thg', 'mol', 'mol', 'lob', 'lob'],
                  'rating': [3., 4., 5., np.nan, np.nan, np.nan],
                  'name': ['John', np.nan, 'N/A', 'Graham', np.nan, np.nan]})

nbs = df['name'].str.extract('^(N/A|NA|na|n/a)')
nms=df[(df['name'] != nbs) ]

输出:

>>> nms
  movie    name  rating
0   thg    John       3
1   thg     NaN       4
3   mol  Graham     NaN
4   lob     NaN     NaN
5   lob     NaN     NaN

如何过滤掉NaN值,以便得到如下所示的结果:

movie    name  rating
0   thg    John       3
3   mol  Graham     NaN

我猜我需要像~np.isnan这样的东西,但是tilda不能处理字符串。

kgsdhlau

kgsdhlau1#

最简单的解决方案:

filtered_df = df[df['name'].notnull()]

因此,它只过滤掉'name'列中没有NaN值的行。

  • 对于多列:*
filtered_df = df[df[['name', 'country', 'region']].notnull().all(1)]
smdncfj3

smdncfj32#

把它们放下:

nms.dropna(thresh=2)

这将丢弃至少存在两个非-NaN的所有行。
然后,您可以在name为NaN的位置放置:

In [87]:

nms
Out[87]:
  movie    name  rating
0   thg    John       3
1   thg     NaN       4
3   mol  Graham     NaN
4   lob     NaN     NaN
5   lob     NaN     NaN

[5 rows x 3 columns]
In [89]:

nms = nms.dropna(thresh=2)
In [90]:

nms[nms.name.notnull()]
Out[90]:
  movie    name  rating
0   thg    John       3
3   mol  Graham     NaN

[2 rows x 3 columns]
    • 编辑**

实际上,查看您最初想要的内容时,无需dropna调用就可以做到这一点:

nms[nms.name.notnull()]
    • 更新**

3年后再看这个问题,会发现一个错误,首先thresh arg查找至少nNaN值,因此实际上输出应为:

In [4]:
nms.dropna(thresh=2)

Out[4]:
  movie    name  rating
0   thg    John     3.0
1   thg     NaN     4.0
3   mol  Graham     NaN

有可能是我3年前弄错了,或者是我运行的Pandas版本有bug,这两种情况都是完全可能的。

nfeuvbwi

nfeuvbwi3#

df.dropna(subset=['columnName1', 'columnName2'])
9cbw7uwe

9cbw7uwe4#

df = pd.DataFrame({'movie': ['thg', 'thg', 'mol', 'mol', 'lob', 'lob'],'rating': [3., 4., 5., np.nan, np.nan, np.nan],'name': ['John','James', np.nan, np.nan, np.nan,np.nan]})

for col in df.columns:
    df = df[~pd.isnull(df[col])]
5sxhfpxr

5sxhfpxr5#

您也可以使用query

out = df.query("name.notna() & name !='N/A'", engine='python')

输出:

movie  rating    name
0   thg     3.0    John
3   mol     NaN  Graham
hgqdbh6s

hgqdbh6s6#

query()内部传递column_name == column_name以保留column_name不是NA的行。
对于您的情况:

nms.query('name == name')
58wvjzkj

58wvjzkj7#

您可以将负值过滤到具有na值的列:dt = dt[~dt[要过滤的列].isna().all(1)]

相关问题