我正在尝试将spark structtype转换为avro模式。程序需要如下avro模式
{
"type": "record",
"name": "test",
"fields": [
{
"name": "name",
"type": {
"type": "string",
"avro.java.string": "String"
}
}
]
}
当我使用schemaconverters函数转换struct类型时,我得到一个有效但略有不同的avro模式,这使得应用程序失败。我无法对应用程序进行更改,需要的是精确的架构。那么,有没有可能从structtype获得与上面相同的模式呢?
import org.apache.spark.sql.avro.SchemaConverters;
SchemaConverters.toAvroType(new StructType().add("name", DataTypes.StringType))
{
"type": "record",
"name": "test",
"fields": [
{
"name": "name",
"type":["string","null"] }
]}
暂无答案!
目前还没有任何答案,快来回答吧!