pandas 使用panda Python从文件阅读数据时出错(panda.io.parsers.TextFileReader)

vfh0ocws 于 2022-12-16 发布在 Python

关注(0)|答案(2)|浏览(178)

我想从带有Pandas的文件中读取数据集，但当我使用pd.read_csv（）时，程序读取了它，但当我想看到 Dataframe 时，出现了：

位于0x1b3b6b3e198的Pandas.io.解析器.文本文件阅读器

作为附加信息，文件太大（约9 Gigas）
该文件使用垂直线作为分隔符，我尝试使用chunksize，但它不工作。

import pandas as pd
df = pd.read_csv(r"C:\Users\dguerr\Documents\files\Automotive\target_file", iterator=True, sep='|',chunksize=1000)

我想导入我的数据在传统的Pandas Dataframe 格式。

pandas

来源：https://stackoverflow.com/questions/56704836/problem-reading-a-data-from-a-file-with-pandas-python-pandas-io-parsers-textfil

2条答案

按热度按时间

yr9zkbsy1#

您可以通过执行以下操作逐块加载它：

import pandas as pd

path_to_file = "C:/Users/dguerr/Documents/Acxiom files/Automotive/auto_model_target_file"
chunk_size = 1000
for chunk in pd.read_csv(path_to_file,chunksize=chunk_size):
     # do your stuff

赞(0）回复(0）举报 2022-12-16

fdbelqdn2#

会不会和unicode编码有关？

import pandas as pd

df = pd.read_csv('C:/Users/dguerr/Documents/Acxiom files/Automotive/auto_model_target_file',
encoding='latin-1', chunksize=1000)

赞(0）回复(0）举报 2022-12-16

我来回答

pandas 使用panda Python从文件阅读数据时出错(panda.io.parsers.TextFileReader)

2条答案

相关问题

热门标签

最新问答