avro架构java的spark结构

waxmsbnn  于 2021-07-13  发布在  Spark
关注(0)|答案(0)|浏览(277)

我正在尝试将spark structtype转换为avro模式。程序需要如下avro模式

{
"type": "record",
"name": "test",
"fields": [
    {
        "name": "name",
        "type": {
            "type": "string",
            "avro.java.string": "String"
        }
    }
]
}

当我使用schemaconverters函数转换struct类型时,我得到一个有效但略有不同的avro模式,这使得应用程序失败。我无法对应用程序进行更改,需要的是精确的架构。那么,有没有可能从structtype获得与上面相同的模式呢?

import org.apache.spark.sql.avro.SchemaConverters;
SchemaConverters.toAvroType(new StructType().add("name", DataTypes.StringType))

{
"type": "record",
"name": "test",
"fields": [
    {
        "name": "name",
        "type":["string","null"] }
]}

暂无答案!

目前还没有任何答案,快来回答吧!

相关问题