从 SYSTRAN/faster-whisper#65
一些CPU,如ARM Neoverse-N1(Oracle Cloud免费层级),支持FP16计算。如果有这个功能会很好，因为与float32相比，计算速度可能提高高达2倍。我只是创建了增强请求，并理解这可能不会成为重点，因为它只适用于一小部分CPU。
从 SYSTRAN/faster-whisper#65
一些CPU,如ARM Neoverse-N1(Oracle Cloud免费层级),支持FP16计算。如果有这个功能会很好，因为与float32相比，计算速度可能提高高达2倍。我只是创建了增强请求，并理解这可能不会成为重点，因为它只适用于一小部分CPU。
3条答案
按热度按时间egdjgwm81#
顺便说一下，Apple Silicon CPU也支持FP16,这为这里增加了一些潜在的消费者。
jc3wubiy2#
我很想使用faster-whisper代替whisper.cpp,但CPU上缺乏FP16是让我无法接受的。
目前，使用更快的whisper,我必须在速度(int8)和准确性(float32)之间做出选择，而FP16正是缺失的平衡点。
考虑到ARM CPU如今非常流行(手机、苹果M系列、云服务提供商),我认为考虑支持FP16是一个好主意。
你对此有什么想法吗@guillaumekln?
ibps3vxo3#
不仅仅是arm和苹果硅，最新的英特尔和AMD CPU(我正在使用一个AMD的)也支持float16。如果CPU支持float16,那么int8_int16推理也会很好。