pyspark错误：读取tsv.gzDataframe每次读取0行，即使源代码中有行

00jrzges 于 2021-07-13 发布在 Spark

关注(0)|答案(1)|浏览(303)

我有以下代码；

test_df = (spark.read
         .schema(newSchema)
         .option("header", "true")
         .option("delimiter", "\t").csv("wasbs://container@AzureStorageAcc.blob.core.windows.net/dir1/dir2/2021/02/05/"))

但这似乎不起作用。有没有其他方法可以将tsv.gz读取为sparkDataframe？

apache-spark pyspark databricks azure-storage-blobs

来源：https://stackoverflow.com/questions/66129298/pyspark-error-reading-a-tsv-gz-dataframe-reads-0-rows-each-time-even-though-th

1条答案

按热度按时间

mpgws1up1#

尝试移除 .format("cloudFiles") 根据您的命令，这只用于处理结构化流，我怀疑它可能会干扰 .csv .

赞(0）回复(0）举报 2021-07-13

我来回答

pyspark错误：读取tsv.gzDataframe每次读取0行，即使源代码中有行

1条答案

相关问题

热门标签

最新问答