我正在从ADF启动一个Databricks笔记本以执行一些预处理任务。此笔记本的群集通常不运行，应该仅在ADF管道也运行时运行。但是计算集群需要几分钟才能启动，这当然会减慢管道的执行速度。我现在的问题是，是否有可能在ADF管道的早期阶段触发集群，因此它已经在后台启动，而ADF管道的早期阶段仍在运行。这样，我可以总体上加快管道的速度。我已经搜索了databricks菜单，也ADF菜单和工具栏，但没有找到解决方案。谢谢你的帮忙!
bjg7j2ky1#
我认为有一个选项叫做现有交互池。请参考此视频了解更多信息：https://www.youtube.com/watch?v=VZggcUdIO14.要利用现有交互池，我认为群集池中应该有一些群集有关群集池的相关信息，请参阅此链接：https://learn.microsoft.com/en-us/azure/databricks/clusters/instance-pools/create?source=recommendations
6qfn3psc2#
我们可以使用群集池。Azure Databricks池通过维护一组空闲的、随时可用的示例来减少群集启动和自动缩放时间。将群集附加到池时，将使用池的空闲示例创建群集节点。如果池没有空闲示例，池通过从示例提供者分配新示例来扩展以适应群集的请求。当群集释放示例时，它将返回到池中，并可供其他群集使用。只有连接到池的群集才能使用该池的空闲示例。您可以选中link
2条答案
按热度按时间bjg7j2ky1#
我认为有一个选项叫做现有交互池。请参考此视频了解更多信息：https://www.youtube.com/watch?v=VZggcUdIO14.
要利用现有交互池，我认为群集池中应该有一些群集
有关群集池的相关信息，请参阅此链接：https://learn.microsoft.com/en-us/azure/databricks/clusters/instance-pools/create?source=recommendations
6qfn3psc2#
我们可以使用群集池。Azure Databricks池通过维护一组空闲的、随时可用的示例来减少群集启动和自动缩放时间。将群集附加到池时，将使用池的空闲示例创建群集节点。如果池没有空闲示例，池通过从示例提供者分配新示例来扩展以适应群集的请求。当群集释放示例时，它将返回到池中，并可供其他群集使用。只有连接到池的群集才能使用该池的空闲示例。您可以选中link