Cartesia: H-Net сравнялась с моделью на 3 млрд параметров при обучении в 10 раз меньше

Cartesia заявила, что новая версия архитектуры H-Net умеет обучаться языку прямо на сырых байтах без фиксированного токенизатора. В контролируемых экспериментах с масштабированием обучаемая токенизация, по данным компании, дала H-Net преимущество по вычислительной эффективности в три-пять раз по сравнению с сопоставимыми токенизированными трансформерами.

Для более крупного теста Cartesia обучила байтовую H-Net на 3,67 млрд параметров и сравнила ее с открытым рецептом Hugging Face SmolLM3-3B. H-Net достигла примерно того же среднего результата на бенчмарках после около 1 трлн токен-эквивалентов, тогда как SmolLM3 потребовалось 11,1 трлн токенов. Cartesia утверждает, что модели были сопоставлены по вычислениям на байт, поэтому более короткое обучение означает близкое сокращение общих затрат.

Потенциальная польза шире замены одного этапа подготовки данных. Модель, которая сама выделяет полезные единицы из сырых данных, может лучше работать с кодом, разными языками и незнакомыми форматами, не наследуя ограничения фиксированного словаря. Cartesia также проверяет подход на аудио, ДНК и изображениях.

Результаты получены самой Cartesia и пока не прошли независимую проверку. Компания признает, что корректно сравнивать байтовые и токенизированные модели методологически сложно, поэтому заявленную экономию следует считать ранним исследовательским результатом, а не доказанной заменой обычных трансформеров.