我正在试着运行关于sparknlp的ipython笔记本https://github.com/johnsnowlabs/spark-nlp-workshop/blob/master/tutorials/certification_trainings/public/databricks_notebooks/3.sparknlp_pretrained_models.ipynb
我在数据库里运行它
6.6 ML spark 2.4.5
代码
# no need for token columns
use_embeddings = UniversalSentenceEncoder.pretrained('tfhub_use').\
setInputCols(["document"]).\
setOutputCol("sentence_embeddings")
拿
10 minutes
下载900 mb预训练模型。
太慢了,databricks spark ui显示没有活动任务,节点是i3.8ec2。此外,databricks显示代码只运行一个作业/任务,因此没有并行计算。
我犯了些错误吗?如何加速?
谢谢
暂无答案!
目前还没有任何答案,快来回答吧!