我使用的是pyspark,我想用其中的uuid读/写parquet数据,我更喜欢保存为parquet uuid logicaltype(这是一个16字节的固定数组)。
看到了吗https://github.com/apache/parquet-format/blob/master/logicaltypes.md
我怎么能在Pypark这样做?
我在想我是否应该试着 class pyspark.sql.types.DataType
并在 bytes
以及 uuid.UUID
但是,我不清楚spark会如何将其写入parquet中的uuid逻辑类型。
暂无答案!
目前还没有任何答案,快来回答吧!