Музыка Сфер II

(Искусственный интеллект в музыке: Хронология, деятели и современные решения)
                "Сами будете не рады,
                Локти будете кусать. —
                Все мосты через преграды
                Перекинули без нас..."
                (В.С. Высоцкий)

Роль ИИ в музыкальной индустрии значительно глубже, чем может показаться на первый взгляд. Искусственный интеллект уже давно используется для генерации мелодий, аранжировок, обработки вокала, микширования и мастеринга. Несмотря на то, что многие артисты не афишируют применение ИИ, его отпечатки можно найти в работах как независимых музыкантов, так и лидеров индустрии.


**1. Ранняя эра алгоритмической композиции**

Эксперименты и пионеры
• David Cope и EMI (Experiments in Musical Intelligence):
В 1980 х годах Дэвид Куп разработал систему EMI, которая анализировала классические произведения и генерировала новые композиции в их стиле. Его работы, например, концерты с композициями, созданными алгоритмом, стали первыми доказательствами того, что компьютеры способны на оригинальное музыкальное творчество.
Примеры
• EMI Compositions:
Композиции, сгенерированные системой EMI, исполнялись на фестивалях экспериментальной музыки и в академических кругах, демонстрируя потенциал алгоритмической композиции.


**2. Инструментально-специфичный ИИ**

Технологии и примеры использования
• Виртуальные инструменты и генерация соло:
Современные решения, такие как Superior Drummer AI от Toontrack или инструменты от UJAM, позволяют создавать гитарные соло, басовые линии и барабанные треки, часто неотличимые от живых исполнений.
• Примеры в роке и попе:
Многие современные продюсеры в инди-роке и попе используют виртуальные барабаны и гитарные пресеты, основанные на ИИ, для создания динамичных аранжировок. Хотя конкретные альбомы зачастую не афишируют использование ИИ, инструменты вроде LANDR (обсуждаемые ниже) стали стандартом в мастеринге популярных треков, включая работы таких исполнителей, как Sia и другие.


**3. Композиция и аранжировки с помощью ИИ**

Современные инструменты
• Google Magenta & OpenAI MuseNet/Jukebox:
Эти проекты позволяют генерировать целые композиции, включая аккордовые прогрессии, оркестровку и даже вокальные партии.
• Примеры:
o Taryn Southern – "I AM AI" (2017):
Один из первых коммерческих альбомов, где ИИ сыграл ключевую роль в создании музыкального материала.
o Flow Machines (Sony CSL):
Проект, продемонстрировавший возможности генерации музыки в стиле The Beatles, что ярко проявилось в треке "Daddy's Car".
• Коллективы и экспериментальные группы:
o YACHT – "Chain Tripping" (2019):
Американская группа, которая применила машинное обучение для реинтерпретации собственного творческого материала, используя нейросети для создания новых мелодических линий и ритмических структур.
o Dadabots:
Коллектив, экспериментирующий с генеративной музыкой. Они создали несколько проектов, включая death metal генеративные эксперименты, демонстрируя, как нейросети могут создавать целые жанры с нуля.


**4. Микширование и мастеринг с ИИ**

Инструменты и их применение
• LANDR, iZotope Ozone и Dolby AI:
Эти сервисы позволяют автоматизировать процессы микширования и мастеринга, обеспечивая профессиональное качество звука.
• Примеры:
Многие современные треки, как в попе, так и в инди, проходят финальное мастеринг через LANDR. Официальные кейсы использования таких сервисов публикуются на сайтах разработчиков, где отмечается, что сотни тысяч треков уже обработаны с помощью этих инструментов.


**5. Обработка вокала с ИИ**

Современные технологии
• Вокальное клонирование, гармонизация и обработка:
Инструменты ИИ позволяют не только имитировать голос исполнителя, но и создавать новые вокальные партии, менять тембр и интонацию.
• Примеры:
o Holly Herndon – "PROTO" (2019):
В этом альбоме Herndon использовала алгоритмы для обработки вокала, создания сложных гармоний и интеграции машинных голосовых элементов, что стало настоящим прорывом в экспериментальном звуковом дизайне.


**6. Большая картина: Незаметное влияние ИИ**

ИИ уже интегрирован в каждый этап производства музыки – от генерации идей до финальной обработки. Многие артисты и продюсеры используют его возможности скрытно, благодаря чему слушатели получают продукт высочайшего качества. ИИ не заменяет творцов, а служит их помощником, расширяя границы возможного.


**7. Современные нейросети для музыкантов**

Ниже приведён обзор популярных нейросетей, доступных сегодня для создания музыки, с кратким описанием их возможностей и тарифных планов:

1. OpenAI MuseNet
Описание: Генерация многоинструментальных композиций в различных стилях.
Доступность: Бесплатный демо-доступ.

2. OpenAI Jukebox
Описание: Создание музыки с вокалом, анализ и генерация стиля.
Доступность: Демо-версия доступна в рамках исследовательских проектов.

3. AIVA
Описание: Композитор ИИ, специализирующийся на классической и кинематографической музыке.
Тарифы: Бесплатный тариф для некоммерческого использования; профессиональные планы от $15–20 в месяц.

4. Amper Music
Описание: Облачная платформа для создания саундтреков для видео и рекламы.
Тарифы: Бесплатная пробная версия; профессиональные планы от ~$25 в месяц.

5. Google Magenta Studio
Описание: Набор инструментов для экспериментов с музыкальным машинным обучением.
Доступность: Бесплатно, open-source.

6. Boomy
Описание: Платформа для быстрого создания треков с возможностью коммерциализации.
Тарифы: Бесплатный тариф с возможностью обновления до платного.

7. Endel
Описание: Генератор персонализированных звуковых ландшафтов для релаксации и концентрации.
Тарифы: Бесплатная пробная версия; подписка от $5–10 в месяц.

8. Soundful
Описание: AI-генератор музыки, предлагающий разнообразные стили и аудиоэффекты.
Тарифы: Бесплатное использование с ограниченными кредитами; платные тарифы для расширенных функций.

9. Suno.AI

Suno.AI — это генеративная система искусственного интеллекта, разработанная для создания реалистичных песен, объединяющих вокал и инструментальные партии. Запущенная в декабре 2023 года, Suno.AI позволяет пользователям генерировать музыку на основе текстовых подсказок. Система интегрирована с Microsoft Copilot, что расширяет ее доступность для широкой аудитории. Основатели Suno.AI — Майкл Шульман, Георг Кучко, Мартин Камачо и Кинан Фрейберг — ранее работали в AI-стартапе Kensho, прежде чем создать собственную компанию в Кембридже, Массачусетс. В апреле 2023 года Suno выпустила open-source модель преобразования текста в речь и аудио под названием "Bark". В марте 2024 года была представлена версия v3, позволяющая создавать 4-минутные песни с бесплатным аккаунтом, с возможностью подписки для расширенного функционала.

Запущенная 20 декабря 2023 года, Suno.AI позволяет пользователям создавать песни на основе текстовых подсказок. Осенью 2024 года вышла в свет модель 4.0 что обладала уже звуком более высокого качества, а для поддержки треков созданных впредыдущей версиии была добавлена функция римастеринга. Suno.AI предлагает бесплатный тариф с ограниченным количеством генераций и платные подписки для расширенного функционала.

10. Riffusion

Riffusion — нейросеть, разработанная Сетом Форсгреном и Хайком Мартиросом, генерирующая музыку с использованием изображений звука вместо аудио. Созданная на основе модели Stable Diffusion, Riffusion преобразует текстовые подсказки в спектрограммы, которые затем конвертируются в аудиофайлы.

Riffusion — это инструмент для создания музыки в реальном времени, использующий алгоритмы диффузии для генерации разнообразных и выразительных композиций. Запущенный в декабре 2022 года, Riffusion представляет собой модифицированную версию модели Stable Diffusion, обученную на спектрограммах, что позволяет генерировать аудиофайлы на основе текстовых подсказок. Платформа позволяет создавать музыку различных жанров, включая фолк, блюз, фанк и джаз. Пользователи могут вводить текстовые описания или загружать собственные аудиофайлы для генерации уникальных треков. Riffusion находится в стадии бета-тестирования, предоставляя бесплатный доступ к своим функциям через веб-интерфейс.

11. Udio

Udio — это инновационная платформа для создания музыки с использованием искусственного интеллекта, разработанная командой бывших исследователей из Google DeepMind. Проект был основан в декабре 2023 года Дэвидом Дингом, Конором Дурканом, Чарли Нэшем, Ярославом Ганиным и Эндрю Санчесом под названием Uncharted Labs. Среди инвесторов Udio — венчурная фирма Andreessen Horowitz, соучредитель Instagram Майк Кригер, музыканты will.i.am, Common и Tay Keith, а также платформа UnitedMasters. Публичная бета-версия Udio была запущена 10 апреля 2024 года, предоставляя пользователям возможность генерировать до 600 песен в месяц бесплатно. Платформа позволяет создавать полноценные музыкальные композиции на основе текстовых описаний, включая жанр, стиль и даже конкретные тексты песен. Udio стремится демократизировать процесс создания музыки, делая его доступным для всех, независимо от уровня музыкальной подготовки.

От экспериментов Дэвида Купа до современных проектов Taryn Southern, Holly Herndon, YACHT и Dadabots – искусственный интеллект стал неотъемлемой частью музыкального производства. Он внедряется в каждый этап создания трека, от идеи до финального мастеринга, и расширяет творческие возможности музыкантов по всему миру. Современные нейросети позволяют как профессионалам, так и любителям экспериментировать с новыми звуковыми текстурами и жанрами, делая музыку богаче и разнообразнее.

ИИ в музыке — это не фантастика будущего, а реальность сегодняшнего дня, которая уже активно формирует звучание завтрашних хитов.


Пример 1:

Гитара и человеческий голос пересекаются в средних и низких частотах, но конкретные диапазоны зависят от типа голоса и строя гитары.
Частотное пересечение:

1. Гитара (электро и акустика)
Низкие струны (E2 – 82 Гц, A2 – 110 Гц, D3 – 147 Гц) ; Пересекаются с мужским вокалом
Средние струны (G3 – 196 Гц, B3 – 247 Гц, E4 – 330 Гц) ; Пересекаются с женским вокалом и фальцетом
Обертональные резонансы могут доходить до 5000 Гц

2. Человеческий голос
Мужской вокал (бас, баритон, тенор): 85–440 Гц
Женский вокал (альт, сопрано): 165–1047 Гц
Обертональные резонансы: 1000–4000 Гц

Оптимальный срез для бинауральных ритмов:
• 80–250 Гц – взаимодействие низких нот гитары и вокала, можно подмешать дельта-волны (0.5–4 Гц) для глубины
• 300–700 Гц – зона максимального пересечения, сюда можно добавить тета-ритмы (4–8 Гц) для эффекта транса
• 900–4000 Гц – обертоны, резонансы, можно усилить альфа-волны (8–14 Гц) для атмосферности
В результате, сопоставляя с диапазонами для других инструментов в этой же партии, родился вот такой фрагмент промпта с учетом женского голоса Соправно и струнных (гитара акустическая) и флейта:
Binaural Beats (194-198Hz), (243-241Hz) and (326-334Hz)

* прописывается в эффекты и в музыкальный стиль в конце. Напомню, что у музыкального стиля есть особенность, задавть больший приоритет тому что идет в начале записи, некоторые чтобы увеличить акцент смещения весов нейросетей пишут даже проценты или несколько раз повторяют термин, но из моего опыта - достаточно поменять саму очередность основных терминов и продублировать в "шапке" музыкального промпта. В предыдущем посте выложена композицияс использованием данного подхода в дизайне музыки.


Пример 2:

Румба обычно исполняется в размере 4/4, но её ритмический рисунок делает её особенной. Основной ритм румбы – синкопированный, с акцентами на слабых долях.

Основные ритмические особенности:
Традиционная кубинская румба часто использует tresillo (триольный ритм) или clave (синкопированный рисунок).
Бальная румба (в латиноамериканских танцах) имеет размер 4/4 с акцентом на четвёртую долю такта.

Пример акцентного рисунка для бальной румбы (slow-quick-quick):
1       2       3       4      
S       Q       Q       (акцент/пауза)

(S = медленная доля, Q = быстрые доли)

Если речь о кубинской румбе, то её ритм может быть сложнее, с характерными паттернами:

• Son clave (2-3 или 3-2)
• Rumba clave (более синкопированная, сдвинутый акцент)
То есть формально 4/4, но ощущается гораздо живее за счёт синкоп.

В бальной румбе (латиноамериканский стиль) четвертый такт играет важную роль, поскольку на четвертую долю часто приходится акцент.

Разбор по долям:
1. Первая доля – "медленная" (S), основной шаг.
2. Вторая доля – "быстрая" (Q).
3. Третья доля – "быстрая" (Q).
4. Четвертая доля – часто подчеркивается паузой, акцентом или синкопой.

В кубинской румбе (особенно в стиле гуагуанко или ямбу) четвертая доля также может содержать акцент на clave или дополнительные перкуссионные удары.

Если в твоем треке румба используется как основа, важно учитывать характерные акценты на четвертую долю, чтобы сохранить её фирменную ритмику. Таким образом её ритм при определенном темпе можно задействовать как для биноуральных ритмов, так и для изохронных тонов, опираясь на её ритмичность, а дальше на инструменты что будут к ней привязаны.