Стабильный ИИ выпустил модель для генерации аудио, которая может работать на смартфонах.

Компания Stability AI представила инновационную модель генерации звука, которая способна работать непосредственно на смартфонах без необходимости подключения к интернету. Эта новинка стала результатом сотрудничества Stability AI с компанией Arm, чьи технологии лежат в основе 99% современных мобильных устройств.

Новая модель Stable Audio Open — это текст-в-аудио генератор, оптимизированный для запуска на процессорах Arm. Благодаря интеграции с Arm KleidiAI, открытой библиотекой для искусственного интеллекта, и оптимизации модели, удалось добиться сокращения времени генерации звука с нескольких минут до всего лишь нескольких секунд. Например, длительность создания аудиоклипа длиной около 11 секунд уменьшилась с 240 до 8 секунд, что означает увеличение скорости работы в 30 раз.

Stable Audio Open позволяет генерировать не только речь с высокой реалистичностью и чистотой звучания, но и разнообразные звуковые эффекты, короткие музыкальные фрагменты, а также другие элементы аудиопродакшена. Все это возможно полностью локально — то есть аудиоконтент создаётся прямо на мобильном устройстве, без необходимости передачи данных в облако.

Это достижение открывает новые горизонты для создателей контента, музыкантов, sound-дизайнеров и разработчиков. Они смогут быстро и удобно создавать аудио для своих проектов в любой точке без ограничения доступа к сети. Кроме того, развитие таких моделей способствует интеграции генеративного ИИ в процессы цифрового производства, что важно с учётом растущего спроса на локальное использование искусственного интеллекта.

Компания Stability AI продолжит сотрудничество с Arm, чтобы внедрять новые возможности генеративного ИИ для обработки изображений, видео и 3D прямо на устройствах с процессорами Arm, что станет следующим шагом в развитии искусственного интеллекта на «грани» (edge AI).

Таким образом, выпуск модели Stable Audio Open, работающей офлайн на смартфонах, знаменует собой важный технологический прорыв, который делает передовые аудиотехнологии доступными каждому пользователю и расширяет возможности творческого процесса.