CTranslate2 从flan T5获取编码

vecaoik1  于 2个月前  发布在  其他
关注(0)|答案(1)|浏览(41)

你好,我想使用这个库来获取Flan T5编码器在CPU上的所有位置的编码。但我不太熟悉C++,所以很难自己进行定制。是否有可能支持它?
只需要一个API,在Translator中返回批量大小 * 长度 * hidden_dimension编码即可。谢谢!
背景:
我正在尝试训练文本到图像模型,并希望将文本编码器放在CPU上。我认为这是我能找到的最佳选项,可以在CPU上支持T5编码器,并进行速度优化。

icomxhvb

icomxhvb1#

你好,
你是想仅运行编码器T5模型的编码器吗?还是该模型是一个独立的T5编码器(例如在transformers中的T5EncoderModel)?

相关问题