Берлинский аудиостартап, который использует собственные модели искусственного интеллекта для генерации синхронизированного звука для видео, привлёк 41 миллион долларов в стартовом раунде, возглавляемый Index Ventures и Andreessen Horowitz. Раунд финансирования в Мирело также привлёк берлинского инвестора Atlantic и калифорнийского венчурного капитала TriplePoint Capital.

Mirelo привлекла около 44 миллионов долларов на сегодняшний день и привлекла ангельские инвестиции от нескольких технологических лидеров, включая сооснователя и генерального директора Mistral Артура Менша и руководителя Revolut Антуана Ле Неля. Mirelo, в которой команда из 10 человек, была основана двумя бывшими музыкантами — CJ Саймон-Габриэлем и Флорианом Венцелем, которые познакомились как исследователи ИИ в Amazon.

Главный момент Mirelo в том, что хотя ИИ изменил создание текста, изображений и видео, звук отстаёт. В ней отмечается трудоёмкий процесс добавления музыки и аудио в визуальные материалы, когда создатели и звуковые дизайнеры часами искают сток-библиотеки и вручную синхронизируют эффекты.

Mirelo, основанная в 2023 году, разработала собственные модели искусственного интеллекта для звука в видео. В нем говорится, что пользователь может загрузить любое видео, и за считанные секунды Mirelo создаёт соответствующий звук для всего, что происходит на экране.  Компания утверждает, что технология генерации звука хорошо подходит для видео, сгенерированных ИИ, или для игровых миров.

Компания создаёт собственные модели ИИ с нуля, обучая их на данных, для которых, по их словам, существуют лицензионные соглашения. Её клиенты обычно — отдельные создатели и небольшие студии, а API используется компаниями, желающими использовать его модели в своих платформах или инструментах.

Mirelo недавно выпустила новую модель видео-звука Mirelo SFX v1.5, которая, по их словам, может создавать различные версии саундтреков быстрее реального времени.

Стартап утверждает, что его модели требуют в 50 раз меньше вычислительной мощности, чем типичные LLM. Стартап будет использовать эти средства для развития своих технологий и попыток увеличить клиентскую базу.

Саймон-Габриэль, генеральный директор Mirelo, сказал: «Подумайте о разнице между звуковым и немым кино — видео без звука имеет гораздо меньше ощущений и атмосферы.

«Первый шаг Mirelo — демократизация доступа, дать всем возможность создавать звук, которого заслуживают их (ИИ) видео.

«Но мы также дадим возможность профессионалам перерабатывать аудио, делать больше того, что им нравится, быть более выразительными и творческими в своих достижениях, при этом справляясь с скучными вещами, такими как синхронизация. Наша главная миссия — стать аудиослоем для всего визуального контента в видео, играх, социальных сетях, фильмах и не только.»

Венцель сказал: «Между музыкой и инженерией существует глубокая связь; возможно, поэтому так много членов команды Мирело — музыканты, и почему музыканты всегда были ранними сторонниками новых технологий.

«Есть что-то в пересечении математической точности и выразительности, что, кажется, привлекает людей к обеим областям.»

Гвидо Аппенцеллер, партнер Andreessen Horowitz, сказал: «На сегодняшний день a16z инвестировала в несколько ведущих мировых генеративных моделей, каждая из которых имеет свою специализацию. Мирело берётся за одну из самых технически сложных и наименее изученных областей генеративных медиа: специализированную модель создания звуковых эффектов.

«CJ и Флориан собрали команду, ориентированную на исследования, чьи прорывы в токенизации, курировании данных и кондиционировании соперничают с гораздо более масштабными усилиями, и мы рады поддерживать Mirelo, когда они масштабируют свои технологии для следующего поколения видеомоделей.»