我使用databricks社区版来运行spark工作负载。我知道它用内核来运行笔记本是否有任何方法来确定笔记本使用哪个内核来运行？笔记本究竟将如何在幕后运行（可用信息很少）？
jv4diomz1#
关于第一个问题，databricks支持的“主要”语言（scala、python、r和sql）数量有限，您可以在创建笔记本时将它们设置为主要语言。除了笔记本级别上设置的语言外，还可以通过使用 magics ，就像， %scala , %python , %r , %sql . 还有其他魔法，例如， %sh 为了在驱动程序上执行shell代码， %fs 用于处理dbfs上的文件等。所有这些都可以在文档中找到。关于第二个问题-实际实现不是公开的，但它应该与spark实现类似- pyspark 等等。
magics
%scala
%python
%r
%sql
%sh
%fs
pyspark
1条答案
按热度按时间jv4diomz1#
关于第一个问题，databricks支持的“主要”语言（scala、python、r和sql）数量有限，您可以在创建笔记本时将它们设置为主要语言。除了笔记本级别上设置的语言外，还可以通过使用
magics，就像，%scala,%python,%r,%sql. 还有其他魔法，例如，%sh为了在驱动程序上执行shell代码，%fs用于处理dbfs上的文件等。所有这些都可以在文档中找到。关于第二个问题-实际实现不是公开的，但它应该与spark实现类似-
pyspark等等。