nlp.js 意图检测的阈值

mwngjboj  于 5个月前  发布在  其他
关注(0)|答案(2)|浏览(70)

是否有办法改变意图检测的阈值/敏感度?
目前,我在一个包含以下消息的模型上进行了训练:

// "message.delete" intent
Delete last message by %user%
Delete last %count% messages by %user%
Delete last message in %channel%
Delete last message from %user% in %channel%
Delete last %count% messages from %user% in %channel%

现在,任何包含单词“message”的提示都被标记为“message.delete”意图。有没有办法改变敏感度,以便不那么激进地标记意图?

5q4ezhmt

5q4ezhmt1#

是的,这非常重要。我花了一个小时到处寻找,NER有一个阈值设置,但似乎在NLP管理器中无法设置它...这使得这个库在我的应用中无法使用,即当意图无法识别时,将消息传递给LLM。

c3frrgcw

c3frrgcw2#

[解决方法] result.score 在每条消息上 ... result.action 也存在。
这个模式在意图上执行了功能,并微调了分数,或者定义了一个单独的变量:
await nlp.process('en', message).then(async result => { const intent = result.intent; const score = result.score; if (intent==='greetings.hello' && score>=0.99) { } else if (intent==='greetings.bye' && score>=0.99) { } else if (intent==='greetings.name' && score>=0.99) { } else if (intent==='weather' && score>=0.99) { } else { //default when intent:none }
这对于传递给语料库中每个意图注册的响应是有效的:
if (intent!='None' && score>=0.9) { console.log(result.answer); } else { //default intent:none console.log('Message passed to LLM. Awaiting...'); };
还有一个对象,其中包含每个意图的分数,可以将其与消息中排名的具体意图进行比较。应该提供一些灵活的触发逻辑。
result.classifications: [ { intent: 'weather', score: 0.6301063890655614 }, { intent: 'greetings.name', score: 0.3698936109344386 }, { intent: 'greetings.bye', score: 0 }, { intent: 'greetings.hello', score: 0 }
附注:仅加载初始测试意图会产生很多误报,我通过添加更多的短语和意图来评分以减少这种情况的发生,这样更不可能得到“1”的评分。Huggingface 有一些可以提取到语料库中的意图数据集,用于噪声或初始意图。

相关问题