pyspark 如何用我自己的错误描述覆盖spark错误消息

bhmjp9jg 于 2023-10-15 发布在 Spark

关注(0)|答案(1)|浏览(97)

我使用SparkSession类DataProcessor中的以下spark_reader方法

from pyspark.sql import SparkSession

def spark_reader(spark: SparkSession, options: dict) -> DataFrame:
        df = spark.read.load(**options)
        return df

当文件夹是阅读从不包含Parquet文件，它抛出错误消息AnalysisException: Unable to infer schema for Parquet. It must be specified manually.，但我想改变这更具体的东西，如folder contains no <file_type> files-有人知道如何改变错误消息？
我尝试在spark_reader方法中引发一个异常，但是Spark消息在到达异常之前就被引发了，并抛出了上面提到的错误。

pyspark

来源：https://stackoverflow.com/questions/77180594/how-do-i-override-a-spark-error-message-with-my-own-unique-description-of-the-er

1条答案

按热度按时间

fv2wmkja1#

这是你能做的最基本的事情。

def spark_reader(spark: SparkSession, options: dict) -> DataFrame:
        try:
            df = spark.read.load(**options)
            return df
        except AnalysisException:
            print("folder contains no <file_type> files")

赞(0）回复(0）举报 2023-10-15

我来回答

pyspark 如何用我自己的错误描述覆盖spark错误消息

1条答案

相关问题

热门标签

最新问答