使用麦克风作为实时音频的输入。如何从音频中提取当前所说的音素？我需要它的对口型2D字符。
基本上，我的方法是：
1.使用麦克风获取实时音频
1.从音频中检测正在发音的当前音素。
我试着到处寻找可以解决这类问题的示例或库。大多数库似乎不从音频输出音素。
有一个网站解释了他们如何使用机器学习来解决这个问题，但是没有任何代码或教程来说明如何做到这一点。https://www.arxiv-vanity.com/papers/1910.08685/
还有一个很酷的语音识别工具，叫做Pocketsphinx，但我似乎还没有找到一个使用音素识别的例子。
1条答案
按热度按时间jdgnovmf1#
我的方法是使用Whisper或类似的STT服务（Python Speech Recognition Library是目前的首选）从音频中获取 * 单词 *，然后 * 我将使用CMU Dict Library为每个单词提供音素。
音素使用CMU词典给出-例如
θ音素为DH-this和that中的th声音。也就是说，它们不是以IPA发音给出的-所以如果你需要IPA格式的音素，你可能需要另一层。如果您需要IPA格式的音素，请考虑IPA2 library。