pandas 如何从UCI ML Repo导入python(panda)中的整个CSV文件夹?

neekobn8  于 2023-01-01  发布在  Python
关注(0)|答案(1)|浏览(125)

这是我想要的csv文件的链接:http://archive.ics.uci.edu/ml/datasets/selfBACK
我现在的方法是通过简单地单击它来将其下载到本地。但是,此文件夹有许多不同的文件夹,其中包含许多CSV。我如何以有效的方式导入它?
我知道如何一个接一个地做,但我觉得必须有一个更有效的方法。

hgqdbh6s

hgqdbh6s1#

您可以先读取该文件夹中的所有路径,然后过滤csv文件(或添加其他过滤器,例如特定文件名)。然后合并文件,如果数据是表格和结构相同,这里我使用Pandas。

import os
import pandas as pd
path = 'your_folder_path'
dfs = [pd.read_csv(f) for f in os.listdir(path) if f.endswith('.csv')]

# combine them (if they have the same format) like this:
df = pd.concat(dfs)

注意:您也可以创建一个字典(key=filename,value=dataframe),然后使用filename访问数据。

相关问题