pyspark Synapse中所有笔记本的一个Spark会话

ecbunoof 于 2023-10-15 发布在 Spark

关注(0)|答案(2)|浏览(153)

我没有找到任何解决方案，启动一个apache spark会话的所有笔记本电脑在一个管道，任何想法？

pyspark

来源：https://stackoverflow.com/questions/76959482/one-spark-session-for-all-notebook-in-synapse

2条答案

按热度按时间

4szc88ey1#

无法为多个Synapse笔记本/用户使用1个Spark会话。
Synapse为特定用例提供了专门构建的引擎。Spark for Synapse被设计为作业服务，而不是集群模型。
使用%run。
您可以使用%run magic命令来引用当前笔记本上下文中的另一个笔记本。参考笔记本中定义的所有变量在当前笔记本中可用。%run magic命令支持嵌套调用但不支持递归调用。如果语句深度大于5，则会收到异常。

赞(0）回复(0）举报 2023-10-15

neekobn82#

Spark池不能在多个Notebook中使用，但spark session可以在多个Notebook中使用，在Notebook 1中创建spark session并在所有Notebook中使用