从Vec in Rust创建数据融合的 Dataframe < Struct>?

rur96b6h  于 2023-01-17  发布在  其他
关注(0)|答案(1)|浏览(116)

我尝试执行与此问题here类似的操作,但我不使用polars库,而是使用Datafusion library
我们的想法是从这样一个结构体的vec开始:

#[derive(Serialize)]
struct Test {
    id:u32,
    amount:u32
}

并保存到Parquet文件,就像我提到的问题一样。
虽然可以使用polars,如accepted answer中所示,通过从Struct,序列化到JSON,然后从中构建Dataframe来实现这一点,但我找不到使用Datafusion的类似方法。
如有任何建议,我们将不胜感激。

k4emjkb1

k4emjkb11#

我认为parquet_derive是为在Parquet文件中写入Rust结构而设计的,如果你想处理结果数据,比如用SQL过滤或聚合数据,DataFusion会很有用
下面是文档中的一个示例:https://docs.rs/parquet_derive/30.0.1/parquet_derive/derive.ParquetRecordWriter.html

相关问题