错误是py4jjavaerror：调用o411.csv时出错。

com.amazonaws.services.s3.model.amazons3异常：状态代码：400，aws服务：amazon s3，aws请求id:fsdfewffsd，aws错误代码：null，aws错误消息：错误请求，s3扩展请求id

我在spark 3.0预览版上。我开始了Pypark课程 pyspark --packages=org.apache.hadoop:hadoop-aws:2.7.3 命令。
我尝试了下面的代码

hadoop_conf = spark._jsc.hadoopConfiguration()
hadoop_conf.set("fs.s3a.impl","org.apache.hadoop.fs.s3a.S3AFileSystem")
hadoop_conf.set("com.amazonaws.services.s3.enableV4", "true")
hadoop_conf.set("fs.s3a.endpoint", "s3.us-east-2.amazonaws.com")    hadoop_conf.set("fs.s3a.aws.credentials.provider","org.apache.hadoop.fs.s3a.BasicAWSCredentialsProvider")
hadoop_conf.set("fs.s3a.access.key",ACCESS_KEY)
hadoop_conf.set("fs.s3a.secret.key",SECRET_KEY)

在调用bucket之后，下面的一行抛出错误。

sdf = spark.read.csv("s3a://aai-team/neighbourhoods.csv")