bert 在无服务器架构上部署

f3temu5u  于 5个月前  发布在  其他
关注(0)|答案(1)|浏览(74)

有人有部署到无服务器的经验吗?
AWS lambda有大小限制,最大为512MB的临时存储空间,这是一个问题。

其他选项?因为BERT如果全时运行可能会占用GPU资源。

cdmah0mi

cdmah0mi1#

你好。我也在研究这个问题。发现你可以选择降低模型要求(也就是使用distilbert代替),或者自己提供这个,尝试使用cortex框架来减轻痛苦。

相关问题