我对apachespark很陌生。在我试验之前 Dask
, Ray
,和 Horovod
它可以很容易地创建gpu集群。我正在使用 Apache Spark 3.0
(增加了nvidiagpu支持),但是在创建gpu集群时遇到了问题。我试图配置 spark-defaults.conf
具体如下:
spark.executor.resource.gpu.amount 1
# spark.task.resource.gpu.amount 0.25
# spark.executor.resource.gpu.discoveryScript ./getGpusResources.sh
Jmeter 板上的状态 waiting
. 如何创建gpu集群?
1条答案
按热度按时间bq3bfh9z1#
在查看了几个隐藏的网站之后,我在以下博客中编译了在ApacheSpark3.0中设置gpu集群的说明:http://deeplearningyogi.com/ 请评论。
谢谢,
维尼沙尔