scheme:oss没有文件系统

9njqaruj  于 2021-07-13  发布在  Spark
关注(0)|答案(0)|浏览(258)

我正在使用阿里云存储spark脚本的处理数据,但无法将数据上传到存储。我知道s3包含了一些jar,但不知道如何在阿里oss服务中实现

  1. from pyspark.sql import SparkSession
  2. conf = SparkConf()
  3. conf.set("spark.hadoop.fs.oss.impl", "com.aliyun.fs.oss.nat.NativeOssFileSystem")
  4. spark = SparkSession.builder.config("spark.jars", "/home/username/mysql-connector-java-5.1.38.jar") \
  5. .master("local").appName("PySpark_MySQL_test").getOrCreate()
  6. wine_df = spark.read.format("jdbc").option("url", "jdbc:mysql://db.com:3306/service_db") \
  7. .option("driver", "com.mysql.jdbc.Driver").option("query", "select * from transactions limit 1000") \
  8. .option("user", "***").option("password", "***").load()
  9. outputPath = "oss://Bucket_name"
  10. rdd = wine_df.rdd.map(list)
  11. rdd.saveAsTextFile(outputPath)

暂无答案!

目前还没有任何答案,快来回答吧!

相关问题