我在cloudera上加载我保存在hdfs上的Parquet文件。在jupyter笔记本中,我使用以下代码加载我的表。
spark=generate_spark_instance(total_emory=100, total_vcpu=100)
Table=spark.read.load('Table.parquet')
这在我第一次打开jupyter笔记本的时候效果很好。为了进行比较,我打开了另一个空白的jupyter笔记本会话,并尝试用相同的代码再次加载同一个表。不过,这次我 py4JJavaError: An error occured while calling o526.load.
似乎有什么东西阻止了我同时在两个活动的jupyter笔记本会话中加载两次Parquet文件。有办法解决这个问题吗?
暂无答案!
目前还没有任何答案,快来回答吧!