NVIDIA выпустила открытую модель для расшифровки речи на 40 языках

NVIDIA выпустила Nemotron 3.5 Transcribe — открытую речевую модель, которая объединяет транскрибацию, определение спикеров, перевод и ответы на вопросы по аудио в одном чекпойнте. Она расшифровывает 40 языков, переводит 31 из них на английский или обратно, различает спикеров на 13 языках и обрабатывает записи длительностью до часа с участием до восьми человек.

Модель соединяет речевой энкодер с MoE-языковой моделью на 30 млрд параметров, но для каждого токена использует около 4 млрд. В независимом тесте Artificial Analysis для нестриминговой транскрибации она делит с Mistral Voxtral Small первое место среди open-weight моделей с ошибкой 2,8%, используя примерно в шесть раз меньше активных параметров. NVIDIA также сообщает о лидерстве в открытом треке английского ASR-лидерборда Hugging Face и двух тестах определения спикеров.

Промптом можно запросить дословную расшифровку, метки говорящих, перевод или ответы о записи. Модель работает на одной GPU NVIDIA и доступна через Hugging Face, ModelScope, vLLM и NeMo-Speech.cpp. Она предназначена для записанного аудио, а имена, смену спикеров и ответы всё равно стоит сверять с оригиналом.