我在pandas中有一个dataframe,我需要在不使用spark的情况下将其转换为delta格式。我搜索了很多关于这一点,但我没有找到任何解决方案,不使用Spark。
import pandas as pd df = pd.DataFrame({"x": [1, 2, 3],"y": [3, 2, 1]})
w8f9ii691#
delta-rs库没有spark依赖。您可以通过以下方式将pandas DataFrame保存为Delta Table:
import pandas as pd from deltalake.writer import write_deltalake df = pd.DataFrame({"x": [1, 2, 3],"y": [3, 2, 1]}) write_deltalake('/path/to/save/delta/table', df)
要安装delta-rs库,可以使用pip:
$ pip install deltalake
或者你可以使用conda:
$ conda install -c conda-forge delta-spark
1条答案
按热度按时间w8f9ii691#
delta-rs库没有spark依赖。您可以通过以下方式将pandas DataFrame保存为Delta Table:
要安装delta-rs库,可以使用pip:
或者你可以使用conda: