Jak działa usuwanie wokalu AI i separacja stemów
Praktyczne spojrzenie na Demucs, separację źródeł i sposób, w jaki CreateMusicAI zmienia zaawansowaną separację źródeł audio w proste narzędzia do tworzenia.
Mówią, że nie da się ponownie rozdzielić składników upieczonego ciasta. W audio podzielenie gotowego utworu na wokal, perkusję i bas wyglądało podobnie: słychać było składniki, ale nie można było ich wyraźnie rozdzielić. Separacja źródeł AI tak naprawdę nie odtwarza oryginalnej sesji studyjnej, ale może teraz tworzyć zaskakująco użyteczne przybliżenia.
Dlatego wiele narzędzi audio zaczyna od bardzo praktycznego pytania: czy mogę wydobyć wokal z tej piosenki, czy też mogę podzielić ścieżkę na użyteczne części?
Dla słuchacza gotowy utwór stanowi jedną całość. Producent, DJ, wokalista, nauczyciel lub twórca treści może jednak potrzebować jego poszczególnych warstw: wokalu, perkusji, basu i pozostałych elementów aranżacji. Usuwanie wokalu i separacja stemów za pomocą AI pozwalają przekształcić gotowy miks w osobne, użyteczne pliki audio.
Pomysł wydaje się prosty. Prześlij utwór, wybierz, co chcesz i pobierz wynik. Jednak od strony technicznej jest to jeden z ciekawszych problemów muzycznej sztucznej inteligencji. Plik audio nie zawiera oddzielnych folderów oznaczonych jako „głos”, „perkusja” i „bas”. Zawiera jeden mieszany przebieg, w którym wszystkie dźwięki nakładają się na siebie pod względem czasu, częstotliwości, głośności, pozycji stereo i pogłosu.
Dlatego nowoczesne narzędzia wykorzystują modele separacji źródeł, takie jak Demucs, zamiast polegać na starszych technikach, takich jak filtracja korektorem czy eliminacja kanału środkowego.
Co oznacza separacja źródeł
Separacja źródeł to zadanie polegające na oszacowaniu poszczególnych źródeł dźwięku na podstawie zmiksowanego sygnału audio. W muzyce najczęstszymi celami są wokale, perkusja, bas i inne instrumenty. Kiedy model dzieli utwór na te cztery wyniki, ludzie zwykle nazywają wyniki „stemami”.
Usuwanie wokalu AI to węższa wersja tego samego pomysłu. Zamiast pytać o cztery stemy, model jest proszony o dwie szerokie grupy:
- wokal
- akompaniament lub utwór instrumentalny bez wokalu
Jest to przydatne w przypadku utworów karaoke, acapelli, coverów, ćwiczeń wokalnych, szkiców remiksów i szybkich eksperymentów aranżacyjnych. Separacja stemów idzie dalej. Daje większą kontrolę, dzieląc miks na wokal, perkusję, bas i inne, co jest lepsze do remiksowania, samplowania, uczenia się partii lub studiowania produkcji utworu.
Obydwa procesy opierają się na tym samym podstawowym problemie: model musi odsłuchać gotowy miks i wywnioskować, które części sygnału prawdopodobnie należą do każdego źródła.
Dlaczego ukończony utwór trudno podzielić
Gdyby muzyka była uporządkowana według częstotliwości, separacja źródeł byłaby łatwa. Moglibyśmy usunąć niskie częstotliwości dla basu, wysokie częstotliwości dla talerzy i średnicę dla wokalu. Prawdziwa muzyka taka nie jest.
Ludzki głos może znajdować się w tym samym obszarze częstotliwości co gitary, syntezatory, fortepiany, werble i odbicia pomieszczenia. Bęben basowy i gitara basowa mogą dzielić tę samą przestrzeń basową. Pogłos wokalny może rozprzestrzeniać się po obrazie stereo i rozmazywać się w podkładkach lub instrumentach tła. Kompresja masteringowa może jeszcze mocniej skleić wszystkie te dźwięki.
Z tego powodu starsze metody usuwania wokalu często były zawodne. Zakładały, że wokal prowadzący znajduje się pośrodku panoramy stereo, a następnie próbowały usunąć kanał środkowy. W niektórych utworach to działa, ale może też wyciąć stopę, bas, werbel lub każdy inny element ustawiony blisko środka. Metoda ta słabo radzi sobie z pogłosem, chórkami, efektami stereo i współczesnymi, gęstymi produkcjami.
Separacja źródeł oparta na AI działa inaczej. Nie ogranicza się do wycięcia pasma częstotliwości ani anulowania sygnału w określonym miejscu panoramy. Wytrenowany model rozpoznaje wzorce typowe dla poszczególnych źródeł: charakter wokalu, zmiany partii perkusji w czasie, udział nut basowych w dolnym paśmie oraz sposób, w jaki pozostałe instrumenty wypełniają aranżację.
Demucs za przepływem pracy
Demucs to projekt open source do separacji źródeł muzycznych, stworzony przez Alexandre’a Défosseza i pierwotnie rozwijany w Meta AI. Obecne repozytorium opisuje Demucs jako zaawansowany model umożliwiający podział utworu na perkusję, bas, wokal i pozostały akompaniament.
Wersją szczególnie istotną we współczesnych zastosowaniach jest Hybrid Transformer Demucs, czyli HTDemucs. Projekt opisuje go jako hybrydowy model wykorzystujący transformatory i analizujący zarówno przebieg falowy, jak i spektrogram. W praktyce model korzysta jednocześnie z surowego sygnału w dziedzinie czasu oraz obrazu zmian częstotliwości w czasie. Analiza przebiegu pomaga zachować timing, transjenty i drobne szczegóły, a spektrogram ułatwia rozpoznawanie wzorców harmonicznych i częstotliwościowych. Warstwy transformera zapewniają szerszy kontekst muzyczny, dzięki czemu fraza wokalna, rytm perkusyjny czy linia basu są traktowane jako elementy rozwijające się w czasie, a nie zbiór odizolowanych fragmentów.
Demucs obsługuje także tryb separacji na dwa stemy poprzez opcje takie jak --two-stems=vocals. W praktyce oznacza to, że ta sama rodzina technologii separacji może obsługiwać zarówno proces usuwania wokalu, jak i przepływ pracy z pełną separacją stemów.
Czytelników, którzy chcą poznać szczegóły badań, dokument dotyczący transformatorów hybrydowych do separacji źródła muzyki stanowi techniczną dokumentację HTDemucs.
Co model faktycznie szacuje
Ważne jest, aby dokładnie określić, co robi separacja AI. Nie przywraca oryginalnej sesji studyjnej. Jeśli utwór został wyeksportowany z DAW, zmasterowany, skompresowany i wydany jako plik stereo, oryginalne informacje wielościeżkowe nie są już przechowywane w tym pliku w czysty, odwracalny sposób.
Model tworzy przybliżenie na podstawie danych. Analizując zmiksowany sygnał, przewiduje prawdopodobną zawartość stemu wokalnego, perkusyjnego i basowego oraz tego, co powinno trafić do stemu „other”. Im lepszy model, tym trafniejsze te oszacowania.
Dlatego rezultaty bywają imponujące, ale nie są matematycznie doskonałe. Oddzielony wokal może nadal zawierać odrobinę talerzy lub faktury gitary. W wersji instrumentalnej może pozostać delikatny ślad głosu, szczególnie w ogonach pogłosu. Stem perkusyjny może przejąć część ataku basu, jeśli stopa i bas są mocno nałożone. Nie są to przypadkowe błędy, lecz skutek podstawowej trudności zadania: źródła w gotowym miksie fizycznie nakładają się na siebie.
W przypadku dobrej separacji artefakty te są na tyle małe, że wynik staje się użyteczny. W przypadku karaoke, ćwiczeń, remiksowania, samplowania lub analiz wysokiej jakości szacunki są często dokładnie tym, czego potrzebuje przepływ pracy.
Usuwanie wokalu a separacja stemów
Usuwanie wokalu i separacja stemów są ze sobą powiązane, ale służą różnym kreatywnym zadaniom.
AI Vocal Remover jest najlepszy, gdy pytanie jest konkretne: „Czy mogę usunąć główny wokal?” lub „Czy mogę wydobyć wokal?” Oczekiwane efekty to zazwyczaj acapella i utwór instrumentalny. Dzięki temu idealnie nadaje się do karaoke, ćwiczeń coverów, analizy wokalu i szybkich podkładów.
AI Stem Splitter jest lepszy, gdy chcesz pracować ze strukturą miksu. Wyjście z czterema stemami zapewnia wokal, perkusję, bas i inne instrumenty. Jest to przydatne, gdy chcesz wyciszyć perkusję w celu ćwiczenia, wyizolować linię basu, samplować rytm, stworzyć remiks, przestudiować aranżację lub przywrócić równowagę części utworu w DAW.
Z technicznego punktu widzenia separacja na cztery stemy jest bardziej szczegółowym zadaniem. Model musi rozstrzygnąć nie tylko, co jest wokalem, lecz także jak podzielić akompaniament na muzycznie sensowne grupy. Zapewnia to większą kontrolę, ale tworzy też więcej granic, na których może pojawić się niewielki przesłuch między stemami.
Właściwy wybór zależy od celu. Jeśli chcesz utwór instrumentalny, użyj usuwania wokalu. Jeśli chcesz mieć większą kreatywną kontrolę nad aranżacją, zastosuj separację stemów.
Co wpływa na jakość separacji
Plik wejściowy ma znaczenie. Czysty plik WAV lub FLAC zwykle zapewnia modelowi więcej przydatnych szczegółów niż plik MP3 o niskiej przepływności. Wysokiej jakości dźwięk nie gwarantuje doskonałych wyników, ale zapewnia modelowi lepszy sygnał do analizy.
Układ też ma znaczenie. Rzadkie utwory z wyraźnym wokalem, wyrazistą perkusją i stabilną linią basu są na ogół łatwiejsze do oddzielenia. Gęste miksy rockowe, mocno nałożone na siebie utwory syntezatorowe, nagrania na żywo, zniekształcone gitary, hałas tłumu i długie ogony pogłosu są trudniejsze. Dźwięki te mogą się pokrywać zarówno pod względem częstotliwości, jak i czasu.
Znaczenie mają również decyzje podjęte podczas miksu. Jeśli wokal jest mocno nasycony delayem i pogłosem, suchy głos może oddzielić się dobrze, a część przestrzeni pozostanie w wersji instrumentalnej. Gdy stopa i bas są silnie sklejone lub zniekształcone, czysty podział dolnego pasma staje się trudniejszy. Jeśli chórki, wokal prowadzący i pady syntezatorowe zajmują podobny zakres, część faktur może przenikać między stemami.
Oto uczciwy sposób myślenia o separacji źródeł AI: nie jest to bezstratny przycisk „unmix”, ale jest to silne narzędzie do rekonstrukcji. Najlepsze rezultaty osiąga się, zapewniając modelowi czyste źródło, wybierając odpowiedni tryb separacji i wykorzystując sygnał wyjściowy jako materiał kreatywny, zamiast oczekiwać idealnego studyjnego wielościeżkowego materiału.
Dlaczego przyspieszenie GPU ma znaczenie
Separacja źródeł jest znacznie cięższa niż w przypadku tradycyjnego filtra audio. Filtr może zastosować stałą regułę. Model taki jak Demucs przeprowadza głębokie wnioskowanie sieci neuronowej na temat dźwięku, analizując czas, częstotliwość i kontekst przed wygenerowaniem nowych wyjść audio.
Koszt obliczeń to jeden z powodów, dla których przyspieszenie GPU ma znaczenie. Nowoczesne procesory graficzne są zaprojektowane do obliczeń równoległych stosowanych w sieciach neuronowych. Uruchamianie separacji na wydajnym procesorze graficznym może sprawić, że przepływ pracy będzie przypominał narzędzie, a nie projekt konfiguracji technicznej.
Przetwarzanie przeprowadzamy na procesorach graficznych NVIDIA A100. Dla użytkownika ważniejsza od nazwy sprzętu jest korzyść, jaką zapewnia: szybsze wyniki, stabilna obsługa wymagających modeli oraz brak konieczności lokalnego instalowania Pythona, CUDA, wag modelu czy narzędzi wiersza poleceń.
Przesyłasz dźwięk. System wykonuje wymagające obliczenia modelu.
Dalsze czytanie
Jeśli chcesz zgłębić podstawową technologię, zacznij od repozytorium Demucs i artykułu badawczego HTDemucs. Jeśli chodzi o sprzęt, strona NVIDIA A100 Tensor Core GPU wyjaśnia klasę infrastruktury GPU powszechnie używanej do obciążeń AI.
Jak to staje się funkcją CreateMusicAI
CreateMusicAI łączy ten techniczny proces w dwa proste narzędzia: AI Vocal Remover i AI Stem Splitter.
Warstwa produktu jest celowo prosta: nie wymaga instalacji. Prześlij plik audio, wybierz usuwanie wokalu lub pełną separację stemów i pozwól, aby przetwarzanie wspomagane przez A100 wykonało wymagające obliczenia. Nie musisz instalować Demucs, konfigurować sterowników GPU, wybierać plików modeli ani uruchamiać poleceń terminala.
Za prostym interfejsem działa zaawansowana technologia separacji źródeł. Otrzymujesz szybki, praktyczny sposób przekształcania gotowych utworów w wysokiej jakości ścieżki gotowe do twórczego wykorzystania: wersję instrumentalną, acapellę, perkusję, bas i pozostałe instrumenty do karaoke, remiksów, ćwiczeń, analizy i tworzenia treści.
Usuwanie wokalu z piosenki za pomocą AI
Prześlij piosenkę i oddziel wokal od podkładu instrumentalnego za pomocą AI. Przygotuj wersję karaoke lub a cappella do remiksów, nauki i tworzenia treści — bez instalowania programu.
Autor
