Компанията Stability AI, която разработи технологията за изкуствен интелект Stable Diffusion за преобразуване на текст в изображения, обяви публичното пускане на Stable Audio - невронна мрежа за генериране на кратки аудиоклипове въз основа на текстови описания. Stable Audio се основава на същите основни техники на изкуствения интелект, използвани от Stable Diffusion за генериране на изображения.
„Stability AI е най-известен с работата си с изображения, но сега пускаме първия си продукт за създаване на музика и аудио, наречен Stable Audio", каза Ед Нютън-Рекс, вицепрезидент по аудио в Stability AI. - Идеята е много проста: описвате музиката или аудиото, което искате да чуете, в текст, а нашата система го генерира вместо вас".
Ед не е нов в света на компютърната музика: през 2011 г. той основава стартъпа Jukedeck, който през 2019 г. е закупен от TikTok. Технологията зад Stable Audio обаче се корени не в Jukedeck, а във вътрешното изследователско студио за създаване на музика на Stability AI, наречено Harmonai, създадено от Зак Евънс. Евънс обясни, че текстовият модел използва техника, известна като аудиоконтрастно предварително обучение на езика (CLAP). Аудиомоделът на Stable има около 1,2 млрд. параметъра, което е приблизително същото като оригиналната версия на Stable Diffusion за генериране на изображения.
Възможността за генериране на основни аудио записи с помощта на технологията не е нещо ново. В миналото е бил използван метод, наречен символно генериране, който обикновено се използва при работа с формата MIDI (Musical Instrument Digital Interface). Възможностите за генериране на изкуствен интелект на Stable Audio позволяват на потребителите да създават нова музика отвъд повтарящите се последователности от ноти, характерни за MIDI и символното генериране.
Stable Audio работи директно с необработени аудио семпли, за да осигури по-високо качество на продукцията. Моделът е обучен върху повече от 800 000 лицензирани музикални произведения от аудиобиблиотеката AudioSparks. "Една от най-трудните задачи при създаването на текстово базирани модели е получаването на аудио данни, които са не само висококачествени, но и имат подходящи метаданни", обясни Еванс.
Една от често срещаните задачи, които потребителите поставят пред моделите за генериране на изображения, е да ги стилизират така, че да приличат на определен изпълнител. В случая на Stable Audio обаче потребителите няма да могат да поискат от изкуствения интелект да направи това - според създателите на Stable Audio повечето музиканти по-скоро искат да бъдат по-креативни.
Stable Audio ще бъде на разположение безплатно или в план Pro за 12 долара на месец. Безплатната версия ви позволява да създавате по 20 песни на месец с продължителност до 20 секунди, докато Pro версията увеличава броя на песните до 500, а времето им за възпроизвеждане - до 90 секунди. Последната позволява и комерсиално използване на произведенията. Като част от пускането на пазара, Stability Audio AI ще пусне и ръководство за текстови реплики.
Вижте всички актуални новини от Standartnews.com
