嗨,我能够读取avro文件在bigquery使用以下代码。
val fClass = classOf[AvroBigQueryInputFormat]
val kClass = classOf[LongWritable]
val vClass = classOf[GenericData.Record]
val rdd = sc
.newAPIHadoopRDD(conf, fClass, kClass, vClass)
.map(_._2)
我的问题是如何读取类似avro的csv文件。我在“中找不到任何csvfileformat”https://github.com/googlecloudplatform/bigdata-interop/tree/master/bigquery/src/main/java/com/google/cloud/hadoop/io/bigquery".
如果你有什么解决办法,请提出建议。
暂无答案!
目前还没有任何答案,快来回答吧!