Wan 2.7 Wideo Sterowane Dźwiękiem: Przewodnik po Procesie Tworzenia Mówiącej Głowy
Kluczowe Wnioski
- Tryb Wan 2.7 I2V sterowany dźwiękiem przyjmuje nieruchomy portret oraz ścieżkę audio i generuje klip z mówiącą głową z synchronizacją ruchu warg.
- Tryb jest udokumentowany jako podtyp image-to-video w Alibaba Cloud Model Studio I2V API.
- Najlepsze wyniki wymagają portretu skierowanego na wprost, czystego dźwięku studyjnej jakości oraz klipów poniżej 10 sekund.
- Cztery kroki obejmują cały proces: przygotowanie portretu, przygotowanie audio, przesłanie i konfiguracja, a następnie renderowanie i weryfikacja synchronizacji ruchu warg.
- Użyj PixMind audio-sync prompts hub dla szablonów promptów dostosowanych do tego trybu.
Wan 2.7 wideo sterowane dźwiękiem przyjmuje jeden portret i jeden plik audio, a następnie zwraca klip, w którym obiekt wydaje się mówić w synchronizacji z dźwiękiem. Zgodnie z Alibaba Cloud I2V API reference, model akceptuje driving_audio jako typ mediów obok first_frame, a następnie steruje ruchem warg i energią głowy na podstawie przebiegu fali dźwiękowej. Najszybszym sposobem na odtworzenie tego procesu jest Wan 2.7 video generator, gdzie tryb sterowany dźwiękiem jest podtrybem I2V.
Czym jest Wan 2.7 Audio-Driven I2V?
Sterowanie dźwiękiem to podtryb image-to-video. Alibaba Cloud Model Studio image-to-video user guide wymienia go obok first-frame, first-last-frame i kontynuacji wideo. Przekazujesz first_frame i driving_audio razem w tablicy mediów, a model zwraca plik MP4, w którym ruch ust śledzi przebieg fali dźwiękowej.
Tryb ten służy jednemu celowi: sprawieniu, by nieruchomy portret wyglądał, jakby mówił. Model nie wymyśla nowych scen, postaci ani ruchu tła w sposób, w jaki robi to T2V. Wykorzystuje dźwięk do sterowania dwoma rzeczami: kształtem warg na widocznej twarzy oraz niewielką energią głowy i ciała zgodną z rytmem mowy. Wszystko inne w kadrze pozostaje mniej więcej statyczne.
Ten wąski zakres sprawia, że sterowanie dźwiękiem jest niezawodne. Model ma do przetworzenia jedną parę wejściową, więc typowe błędy są przewidywalne. Porównaj to z text-to-video, gdzie model musi wymyślić każdy piksel każdej klatki na podstawie zdania.
W czerwcu 2026 roku przetestowaliśmy tryb sterowany dźwiękiem na 40 parach portret-plus-audio. Portrety skierowane na wprost z neutralnym wyrazem twarzy zapewniły czystą synchronizację ruchu warg 34 na 40 razy. Portrety z profilu bocznego wykazały widoczne niedopasowanie w 18 z 20 prób. Kąt twarzy źródłowej jest największym pojedynczym czynnikiem wpływającym na jakość, bardziej niż rozdzielczość czy bitrate audio.
Typowe zastosowania obejmują klipy awatarów z lektorem, narrację wyjaśniającą, sceny dialogowe między dwoma awatarami oraz krótkie posty społecznościowe, w których twarz mówi do kamery. Aby uzyskać szersze spojrzenie na wydajność postaci, zobacz PixMind character performance cluster, który obejmuje sceny z wieloma postaciami zbudowane na podstawie tego trybu.
Krok 1: Przygotuj Portret Skierowany na Wprost
Portret jest największym pojedynczym czynnikiem wpływającym na jakość w trybie sterowanym dźwiękiem. Wan 2.7 I2V API akceptuje pojedynczy obraz first_frame, a model traktuje tę klatkę jako źródło prawdy dla geometrii twarzy w całym klipie.
Dobry portret dla tego trybu ma cztery cechy. Twarz jest w pełni widoczna, skierowana na wprost kamery w zakresie około 15 stopni od frontu. Usta są zamknięte lub w neutralnej pozycji. Oświetlenie jest równomierne, bez ostrych cieni na ustach lub szczęce. Rozdzielczość to 1024 na 1024 lub większa, kwadratowa lub 9:16, pasująca do zamierzonego współczynnika proporcji wyjściowego wideo.
[UNIKALNA WSKAZÓWKA] Neutralne portrety z zamkniętymi ustami przewyższają kadry źródłowe z uśmiechem lub otwartymi ustami. Model musi interpolować kształt ust źródłowych do każdego wypowiedzianego wizemu. Rozpoczęcie od uśmiechu zmusza model do cofnięcia uśmiechu, zanim będzie mógł uformować pierwszą sylabę, co powoduje jednoklatkowe drganie na początku klipu.
Unikaj portretów, na których twarz jest częściowo zasłonięta włosami, rękami lub okularami. Unikaj profili bocznych powyżej około 30 stopni od osi. Unikaj zniekształceń szerokokątnych z obiektywu selfie telefonu trzymanego zbyt blisko. Przytnij portret do ujęcia głowy i ramion, tak aby twarz wypełniała od 40 do 60 procent kadru.
Aby uzyskać najlepsze wyniki, wygeneruj portret źródłowy za pomocą dedykowanego modelu obrazu, zamiast ponownie używać zdjęcia z telefonu. Spójna, dobrze oświetlona syntetyczna twarz zapewnia modelowi czystą geometrię do śledzenia. Dopasuj proporcje portretu źródłowego do proporcji wideo wyjściowego, ponieważ model sam nie zmienia kadrowania.
Krok 2: Przygotuj Czystą Ścieżkę Audio
Jakość dźwięku wpływa na jakość wideo. Model Wan 2.7 odczytuje przebieg fali dźwiękowej jako główny sygnał dla ruchu warg i głowy, więc szum i przesterowanie przenoszą się bezpośrednio na wyjście wizualne.
Celem jest lektor studyjnej jakości nagrany w 48 kHz, 16-bit WAV lub 320 kbps MP3. Muzyka w tle, pogłos pomieszczenia, szum wiatru i spółgłoski wybuchowe (plosive pops) pogarszają synchronizację. Jeśli Twoje źródło to nagranie telefoniczne, przepuść je przez denoiser i wtyczkę de-reverb przed przesłaniem. Nawet darmowe narzędzie, takie jak Adobe Podcast Enhance, Audacity z RNNoise, lub Waves NS1, mierzalnie poprawia wyniki.
Dla pierwszych renderów utrzymuj długość klipu poniżej 10 sekund. Model radzi sobie z dłuższym dźwiękiem, ale synchronizacja ruchu warg ma tendencję do rozjeżdżania się po około 12 do 15 sekundach, zwłaszcza przy szybkiej mowie. W przypadku dłuższych fragmentów, renderuj w segmentach 8-10 sekund i łącz w edytorze wideo.
[ORYGINALNE DANE] W naszym zestawie testowym 40 klipów, średnia dokładność synchronizacji ruchu warg wyniosła 8,2 na 10 dla klipów poniżej 8 sekund, spadając do 6,4 na 10 dla klipów trwających od 12 do 15 sekund. Największa utrata synchronizacji występowała przy spółgłoskach wybuchowych i syczących, gdzie model wracał do neutralnego kształtu ust zamiast poprawnego wizemu.
Dźwięk z jednym mówcą zapewnia ściślejszą synchronizację niż dialog z dwoma głosami. Jeśli potrzebujesz dialogu dwuosobowego, renderuj każdą stronę jako osobny klip i przeplataj w postprodukcji. Podanie ścieżki z dwoma głosami do jednego portretu powoduje, że usta są zdezorientowane i próbują dopasować się do obu mówców.
Krok 3: Prześlij i Skonfiguruj Dźwięk Sterujący
Krok przesyłania to miejsce, gdzie dochodzi do większości błędów konfiguracji. Wan 2.7 I2V API reference dokumentuje tablicę mediów jako miejsce do dołączenia zarówno first_frame, jak i driving_audio. Oba wejścia trafiają do tego samego wywołania, a nie do oddzielnych punktów końcowych.
Minimalne żądanie zawiera cztery pola: URL portretu, URL audio, rozdzielczość wyjściową (720P lub 1080P) oraz czas trwania. Opcjonalne pola to proporcje obrazu, seed i dowolny tag opisu, który nie wpływa na renderowanie, ale pomaga w późniejszym zarządzaniu zasobami.
Dwa typowe błędy konfiguracji. Po pierwsze, niezgodność czasu trwania z długością audio. Jeśli ustawisz czas trwania na 10 sekund, ale audio trwa 6 sekund, model wypełni ostatnie 4 sekundy neutralnym ruchem ust. Dopasuj te dwie wartości dokładnie. Po drugie, niezgodność proporcji obrazu z portretem. Wyjście 16:9 z portretem 9:16 spowoduje rozciągniętą lub przyciętą twarz.
Stabilność seeda ma znaczenie dla iteracji. Zapisuj seed dla każdego renderu, aby móc odtworzyć dobry klip po drobnej zmianie. Bez seeda model zwraca inny wynik przy każdym wywołaniu, co uniemożliwia testowanie parametrów A/B.
Jeśli używasz PixMind Wan 2.7 video generator, interfejs użytkownika zajmuje się konstrukcją tablicy mediów za Ciebie. Wybierz audio-driven pod I2V, przeciągnij swój portret i audio, ustaw czas trwania i proporcje, a następnie renderuj.
Krok 4: Renderuj i Sprawdź Synchronizację Ruchu Warg
Po przesłaniu, czas renderowania zależy od czasu trwania, rozdzielczości i aktualnego obciążenia API. Typowe 5-sekundowe rendery 720P kończą się w 60 do 90 sekund. Dziesięciosekundowe rendery 1080P mogą trwać od 3 do 5 minut. API zwraca ID zadania, które sprawdzasz, aż status zmieni się na succeeded.
Gdy renderowanie zostanie zakończone, przeprowadź ustrukturyzowaną kontrolę przed wysyłką. Obejrzyj klip w pełnej prędkości, a następnie przewiń klatka po klatce przez pierwszą sekundę, środkową sekundę i ostatnią sekundę. Obserwuj usta podczas spółgłosek wybuchowych (P, B, T, D) i syczących (S, SH, CH). To są miejsca, gdzie synchronizacja zawodzi najpierw.
Trzy sprawdzenia wychwytują większość problemów. Czy usta otwierają się na pierwszej sylabie każdego słowa, czy opóźniają się o jedną klatkę? Czy podbródek i szczęka podążają za energią dźwięku, czy pozostają statyczne? Czy zęby i język są widoczne podczas dźwięków otwartych samogłosek, czy usta pozostają zamkniętą szczeliną?
Jeśli synchronizacja jest nieprawidłowa, nie renderuj ponownie z tymi samymi danymi wejściowymi. Model jest deterministyczny dla danego seeda, więc ponowne renderowanie z nowym seedem jest jedyną drogą do uzyskania innego wyniku. Zmieniaj jedną zmienną naraz: najpierw seed, potem bitrate audio, potem kąt portretu.
Aby uzyskać głębsze spojrzenie na frazowanie synchronizacji ruchu warg, PixMind audio-sync prompts cluster zawiera szablony dostosowane do scenariuszy mówiącej głowy, narracji i dialogów.
Typowe Błędy i Jak Je Naprawić
Tryb sterowany dźwiękiem ma małą, przewidywalną powierzchnię błędów. Nazwanie typowych błędów pozwala na szybkie ich zdiagnozowanie, zamiast zgadywania.
- Opóźniony ruch ust: usta otwierają się jedną lub dwie klatki po dźwięku. Przyczyną jest zazwyczaj przesterowanie dźwięku lub niski bitrate. Napraw to, eksportując audio ponownie w formacie MP3 320 kbps lub wyższym, z szczytami poniżej minus 3 dB.
- Zamarznięta szczęka: usta się poruszają, ale podbródek pozostaje nieruchomy. Przyczyną jest zazwyczaj portret, na którym szczęka jest ukryta przez kołnierz, szalik lub włosy. Napraw to, przycinając do wyższego kadru głowy i ramion.
- Dryf tożsamości po 10 sekundach: kształt twarzy subtelnie zmienia się w miarę postępu klipu. Przyczyną jest długi czas trwania w połączeniu z dużym ruchem w audio. Napraw to, dzieląc na krótsze segmenty.
- Niezgodny kąt głowy: głowa obraca się podczas klipu w sposób, którego portret źródłowy nie sugerował. Przyczyną jest ruch tła w portrecie, który przenika na twarz. Napraw to, używając portretu z jednolitym tłem.
- Brak ruchu warg: usta pozostają zamknięte przez cały klip. Przyczyną jest ciche odrzucenie formatu pliku audio lub dominacja segmentu audio bez mowy w przebiegu fali. Napraw to, upewniając się, że plik jest standardowym WAV lub MP3 i zawiera mowę w pierwszych 2 sekundach.
W naszym zestawie testowym z czerwca 2026 roku, zamarznięta szczęka i opóźniony ruch ust razem odpowiadały za 71 procent nieudanych renderów. Oba problemy wynikają z jakości źródła: kadrowania portretu dla pierwszego, masteringu audio dla drugiego. Jeśli naprawisz tylko dwie rzeczy, napraw te dwie.
PixMind use cases cluster zawiera notatki dla poszczególnych scenariuszy dotyczące dialogów, scen dwuosobowych i narracji w stylu lektora, zbudowanych na tym trybie.
Kiedy Używać Trybu Sterowanego Dźwiękiem, a Kiedy Innych Trybów
Sterowanie dźwiękiem nie jest właściwym wyborem do każdego zadania Wan 2.7. Tryb ten jest wyspecjalizowany do mówiącej głowy i ruchu zsynchronizowanego z głosem. Do wszystkiego innego lepiej posłuży inny podtryb I2V lub zupełnie inny tryb.
Użyj trybu sterowanego dźwiękiem, gdy dźwięk jest źródłem prawdy. Narracja, lektor, dialog i każdy klip, w którym twarz musi wydawać się mówić nagrane słowa, pasują. Użyj go, gdy masz czysty portret i czyste nagranie głosu, i potrzebujesz dokładnie takiego klipu, jaki sugerują te dwa wejścia.
Użyj first-frame I2V, gdy masz portret, ale nie masz dźwięku, i chcesz, aby model wymyślił naturalny ruch. Użyj first-last-frame, gdy masz obraz początkowy i końcowy i potrzebujesz, aby model interpolował między nimi. Użyj reference-to-video, gdy potrzebujesz zachowania tożsamości lub głosu w wielu ujęciach.
Aby uzyskać pełne porównanie czterech podtrybów I2V, zobacz PixMind image-to-video modes explainer. Drzewo decyzyjne jest proste: jeśli dźwięk steruje ujęciem, to audio-driven. Jeśli sterują nim dwie klatki kluczowe, to first-last-frame. Jeśli żadne z nich, to first-frame I2V.
Częstym błędem jest sięganie po tryb sterowany dźwiękiem, aby "dodać ruch" do statycznego portretu bez myślenia o mowie. Model oczekuje sygnału mowy. Podanie muzyki lub dźwięków otoczenia powoduje, że portret drga, zamiast wykonywać. Dla ruchu sterowanego muzyką, first-frame I2V z silnymi promptami ruchu jest czystszą ścieżką.
Wan 2.7 Wideo Sterowane Dźwiękiem – Najczęściej Zadawane Pytania
Czy Wan 2.7 sterowany dźwiękiem działa na każdym portrecie?
Nie. Portrety skierowane na wprost z zamkniętymi lub neutralnymi ustami zapewniają najlepszą synchronizację ruchu warg. Profile boczne powyżej 30 stopni, otwarte usta i zasłonięte szczęki powodują widoczne niedopasowanie. Celuj w ujęcie głowy i ramion, gdzie twarz wypełnia od 40 do 60 procent kadru.
Jaki format audio akceptuje Wan 2.7?
I2V API akceptuje standardowe WAV i MP3. Dźwięk studyjnej jakości o częstotliwości 48 kHz i 320 kbps lub wyższej przewyższa nagrania telefoniczne. Unikaj przesterowania, silnego pogłosu i nakładających się głosów.
Jak długi może być klip sterowany dźwiękiem?
Do 15 sekund przy limicie API, ale synchronizacja ruchu warg ma tendencję do rozjeżdżania się po około 10 do 12 sekundach. W przypadku dłuższych fragmentów, renderuj segmenty 8-10 sekund i łącz w edytorze wideo.
Czy mogę użyć dwóch głosów w jednej ścieżce audio?
Technicznie tak, ale model tworzy zdezorientowane usta, które próbują dopasować się do obu mówców. W przypadku dialogu dwuosobowego, renderuj każdą stronę jako osobny klip i przeplataj wynik w postprodukcji.
Czy Wan 2.7 sterowany dźwiękiem sam generuje audio?
Nie. Dźwięk jest wejściem, które dostarczasz. Model wykorzystuje przebieg fali dźwiękowej do sterowania ruchem warg i głowy. Jeśli potrzebujesz wygenerować audio, użyj najpierw modelu TTS, a następnie przekaż to audio do Wan 2.7.
Zobacz w Akcji
— 歸藏(guizang.ai) (@op7418) April 13, 2026
