在aws saveastable中丢失创建的文件

tpgth1q7 于 2021-06-24 发布在 Hive

关注(0)|答案(1)|浏览(249)

我对pyspark、spark和aws都是新手。
我尝试使用以下方法保存表：


# Save distinct domains dataframe into SQL table

distinct_domains.write.saveAsTable('distinct_domains', mode='ignore', compression='lz4', header=True)

我以为我在保存一个sql表，但显然这是一个配置单元表（我刚刚发现它存在）。
我在另一个帖子上看到，它去了位置s3://my\u bucket\u name/warehouse
在另一个帖子上hdfs://user/hive/warehouse
我到处都找不到这张table。请帮忙。

Hive pyspark amazon-s3 amazon-web-services pyspark-sql

来源：https://stackoverflow.com/questions/57039170/lost-created-files-in-aws-saveastable

1条答案

按热度按时间

imzjd6km1#

也许你可以试试下面的方法
1)

df_writer.partitionBy('col1')\
         .saveAsTable('test_table', format='parquet', mode='overwrite',
                      path='s3a://bucket/foo')

2）可以使用创建一个临时表

myDf.createOrReplaceTempView("tempTable")

然后使用sqlcontext可以为可诱惑的

sqlContext.sql("create table table_name as select * from tempTable");

赞(0）回复(0）举报 2021-06-24

我来回答

在aws saveastable中丢失创建的文件

1条答案

相关问题

热门标签

最新问答