我想在Python项目中使用NLTK METEOR,但是我得到了与"official" Java implementation非常不同的分数。我本以为由于分词等因素会有一些细微的差异，但这种差异太大了。
例如，这个假设：
Alimentum is located in the city centre. It is not family-friendly.以及这个参考(来自E2E NLG数据):
There is a place in the city centre, Alimentum, that is not family-friendly.Java实现运行时使用-l en -norm得到的分数是0.4249,而我在NLTK中得到的是0.6838。你有什么想法为什么会这样吗？
3条答案
按热度按时间58wvjzkj1#
你好，我也遇到了类似的问题。我在NLTK上使用默认值时得到了一个非常高的Meteor分数，但是在jar实现上的默认值要低得多。
似乎NLTK实现的Meteor是基于ACL 2007 paper中描述的版本。根据官方Meteor页面，v1.5 jar是基于ACL 2014 paper的。v1.5/ACL 2014版本包括一个名为delta(内容函数词权重)的第4个参数，该参数在计算精确度和召回率时应用。此外，英语(以及其他语言)的默认值也不同(请参阅ACL 2014论文中的表2)。
m3eecexj2#
@hankelvin :谢谢，这听起来像是问题所在...所以基本上NLTK有一个较旧的版本，为了使其与1.5兼容，我们需要添加函数词权重。
xu3bshqb3#
Meteor v1.5使用了一个额外的匹配方案：转述匹配。这些转述在论文中是自动提取的。还有提到的单词权重，以及一个用于区分目标语言中的内容词和功能词的功能词列表。
Meteor v1.5需要使用训练双语文本和短语表为任何新语言构建版本。
转向v1.5是可能的，但相对于Meteor v1.0而言，复杂度肯定有所提高。