你好！我想将ctranslate2应用于KNN-MT(例如，有一些PyTorch实现，如knn-box和sockeye)。是否有相应的接口来获取模型的输出隐藏状态以进行向量检索？此外，由于KNN-MT需要对每个解码步骤进行向量检索，因此需要逐字解码，而目前ctranslate2仅提供一次解码整个句子的接口。是否可以提供一个接口在每次解码步骤中重用编码器的输出以减少冗余计算？
b4qexyjb1#
有越来越多的请求来访问中间输出。然而，每个人都想访问不同的输出：注意力权重、解码器输出、输出logits等。我们无法有效地从Python支持所有这些用例，但您描述的应该已经可以从C++实现。
1条答案
按热度按时间b4qexyjb1#
有越来越多的请求来访问中间输出。然而，每个人都想访问不同的输出：注意力权重、解码器输出、输出logits等。我们无法有效地从Python支持所有这些用例，但您描述的应该已经可以从C++实现。