我试图将pandas dataframe转换为parquet,但我得到一个错误“Exptected bytes,got a 'int' object”,'Conversion failed for column xxxxxxxx with type object')Excel中的此表有数字和字符串,它就像dtype 'object',即使这样它也会出错。我试过df['xxxxxxxx'].astype(str),df['xxxxxxxx'].astype('data_type'),但都不起作用。我试着用AWS Wrangler和Pyarrow转换为 parquet
3条答案
按热度按时间uxh89sit1#
如this other question中所述
一般类型的列可以工作。所以试试看:
但是,这不是一个好的做法,因为这将隐藏类型错误,您应该考虑通过分隔数据来修复列的类型,或者注意该列具有不同的类型。Pandas针对以下类型的错误提供了警告:
xqk2d5yq2#
你有没有试过:
ssgvzors3#
我也有同样的问题。为
to_parquet
方法设置engine='fastparquet'
参数对我很有帮助。