假设我有这样的PandasDataFrame:
df = pd.DataFrame({'id':[1,1,1,2,2,2,2,3,4],'value':[1,2,3,1,2,3,4,1,1]})
这看起来像是:
id value
0 1 1
1 1 2
2 1 3
3 2 1
4 2 2
5 2 3
6 2 4
7 3 1
8 4 1
我想获得一个新的DataFrame,每个id有前两条记录,如下所示:
id value
0 1 1
1 1 2
3 2 1
4 2 2
7 3 1
8 4 1
我可以在groupby
之后对组内的记录进行编号:
dfN = df.groupby('id').apply(lambda x:x['value'].reset_index()).reset_index()
这看起来像是:
id level_1 index value
0 1 0 0 1
1 1 1 1 2
2 1 2 2 3
3 2 0 3 1
4 2 1 4 2
5 2 2 5 3
6 2 3 6 4
7 3 0 7 1
8 4 0 8 1
然后,对于所需的输出:
dfN[dfN['level_1'] <= 1][['id', 'value']]
产出:
id value
0 1 1
1 1 2
3 2 1
4 2 2
7 3 1
8 4 1
但有没有更有效/更优雅的方法来做到这一点呢?还有更好的方法来编号每个组中的记录(如SQL窗口函数row_number())。
5条答案
按热度按时间iyr7buue1#
你试过了吗
生成的输出:
(请记住,根据您的数据,您可能需要在此之前进行排序)
编辑:如提问者所述,使用
要删除多重索引并展平结果,请执行以下操作:
mspsb9vt2#
Since 0.14.1,您现在可以对
groupby
对象执行nlargest
和nsmallest
:有一点奇怪的是,您也在其中获得了原始索引,但这可能真的很有用,这取决于您的原始索引是。
如果你对它不感兴趣,你可以做
.reset_index(level=1, drop=True)
来彻底摆脱它。(注意:From 0.17.1您也可以在DataFrameGroupBy上执行此操作,但目前它仅适用于
Series
和SeriesGroupBy
。)iyfjxgzm3#
有时,提前对整个数据进行排序非常耗时。我们可以先分组,然后对每个组执行TOPK:
sdnqo3pr4#
apeeds0o5#
对重复值有效
如果前n个值中有重复的值,并且只想要唯一的值,则可以执行以下操作: