我对pyspark、spark和aws都是新手。
我尝试使用以下方法保存表:
# Save distinct domains dataframe into SQL table
distinct_domains.write.saveAsTable('distinct_domains', mode='ignore', compression='lz4', header=True)
我以为我在保存一个sql表,但显然这是一个配置单元表(我刚刚发现它存在)。
我在另一个帖子上看到,它去了位置s3://my\u bucket\u name/warehouse
在另一个帖子上hdfs://user/hive/warehouse
我到处都找不到这张table。请帮忙。
1条答案
按热度按时间imzjd6km1#
也许你可以试试下面的方法
1)
2) 可以使用创建一个临时表
然后使用sqlcontext可以为可诱惑的