from glob import glob

filenames = glob('file_??.csv')
df = pd.Series({
    filename: (~pd.read_csv(filename).duplicated(['b'])).sum()
    for filename in filenames
}).to_frame('count').rename_axis(index='filename')

>>> df
             count
filename          
file_01.csv    645
file_00.csv    613
file_02.csv    617
file_03.csv    626
file_04.csv    623
file_05.csv    644
file_06.csv    615
file_07.csv    628
file_08.csv    645
file_09.csv    636

字符串

**额外的好处：存储具有每个第一个不同b-**的行

如果列是兼容的，您还可以为每个文件存储具有不同b的第一行：

df = pd.concat([
    pd.read_csv(filename).drop_duplicates(['b'])
    for filename in filenames
], keys=filenames)

>>> df
                   a    b    c    d    e
file_01.csv 0    689  191  884  615  649
            1     24   68  794  820  107
            2    566  469  718  157  897
            3    206  256  527  417  672
            4    765  755  741  197  926
...              ...  ...  ...  ...  ...
file_09.csv 986  626  622  224  726  274
            988  329  900  577   26  221
            990   47  800  369  567   11
            998  602  198  165  217  682
            999  564  982  890  126  450

[6292 rows x 5 columns]

型