bert 使用Tensorflow Hub实现多层表示

k0pti3hp  于 4个月前  发布在  其他
关注(0)|答案(1)|浏览(78)

使用Tensorflow Hub是否有简单的方法来获取每个单词的每一层的表示?在这里https://tfhub.dev/google/bert_uncased_L-12_H-768_A-12/1,看起来"sequence_output"将为每个标记获得一个表示(我假设这是最后一层)。

oaxa6hgo

oaxa6hgo1#

使用Tensorflow Hub获取每个单词的每一层表示是否有一种简单的方法?在这里,https://tfhub.dev/google/bert_uncased_L-12_H-768_A-12/1,看起来"sequence_output"将获得每个标记的一个表示(我假设这是最后一层)。
是的,我可以通过'sequence_output'在Tensorflow Hub BERT中获取词嵌入。但是如何获取所有层的词向量呢?换句话说,如何从第1层获取到第12层的词嵌入?

相关问题