你好,我想使用这个库来获取Flan T5编码器在CPU上的所有位置的编码。但我不太熟悉C++,所以很难自己进行定制。是否有可能支持它?
只需要一个API,在Translator中返回批量大小 * 长度 * hidden_dimension编码即可。谢谢!
背景:
我正在尝试训练文本到图像模型,并希望将文本编码器放在CPU上。我认为这是我能找到的最佳选项,可以在CPU上支持T5编码器,并进行速度优化。
你好,我想使用这个库来获取Flan T5编码器在CPU上的所有位置的编码。但我不太熟悉C++,所以很难自己进行定制。是否有可能支持它?
只需要一个API,在Translator中返回批量大小 * 长度 * hidden_dimension编码即可。谢谢!
背景:
我正在尝试训练文本到图像模型,并希望将文本编码器放在CPU上。我认为这是我能找到的最佳选项,可以在CPU上支持T5编码器,并进行速度优化。
1条答案
按热度按时间icomxhvb1#
你好,
你是想仅运行编码器T5模型的编码器吗?还是该模型是一个独立的T5编码器(例如在transformers中的
T5EncoderModel
)?