Wan 2.7 Audio-gestuurde Video: Een Talking-Head Workflow Gids
Belangrijkste Punten
- De Wan 2.7 I2V audio-gestuurde modus neemt een stilstaand portret plus een audiotrack en genereert een lip-gesynchroniseerde talking-head clip.
- De modus is gedocumenteerd als een subtype van image-to-video in de Alibaba Cloud Model Studio I2V API.
- De beste resultaten vereisen een frontaal portret, schone audio van studiokwaliteit en clips van minder dan 10 seconden.
- Vier stappen omvatten de hele pijplijn: portret voorbereiden, audio voorbereiden, uploaden en configureren, en vervolgens renderen en lip-sync verifiëren.
- Gebruik de PixMind audio-sync prompts hub voor prompt-sjablonen die zijn afgestemd op deze modus.
Wan 2.7 audio-gestuurde video neemt één portret en één audiobestand en retourneert een clip waarin het onderwerp synchroon met de audio lijkt te spreken. Volgens de Alibaba Cloud I2V API reference accepteert het model driving_audio als een mediatype naast first_frame, en stuurt vervolgens lipbeweging en hoofdenergie aan vanuit de golfvorm. De snelste manier om de workflow te reproduceren is de Wan 2.7 video generator, waar audio-driven als een submodus van I2V fungeert.
Wat is Wan 2.7 Audio-gestuurde I2V?
Audio-driven is een submodus van image-to-video. De Alibaba Cloud Model Studio image-to-video gebruikershandleiding vermeldt het naast first-frame, first-last-frame en video continuation. Je geeft first_frame en driving_audio samen door in de media-array, en het model retourneert een MP4 waarin mondbeweging de audiogolfvorm volgt.
De modus bestaat voor één taak: een stilstaand portret laten lijken alsof het spreekt. Het model vindt geen nieuwe scènes, personages of achtergrondbewegingen uit zoals T2V dat doet. Het gebruikt de audio om twee dingen aan te sturen: lipvorm op het zichtbare gezicht, en kleine hoofd- en lichaamsenergie die consistent is met het spraakritme. Al het andere in het frame blijft ruwweg statisch.
Deze beperkte reikwijdte maakt audio-driven betrouwbaar. Het model heeft één invoerpaar om zich op te richten, dus faalmodi zijn voorspelbaar. Vergelijk dat met tekst-naar-video, waarbij het model elke pixel van elk frame uit een zin moet uitvinden.
We hebben audio-driven getest met 40 portret-plus-audio-paren in juni 2026. Frontale portretten met een neutrale uitdrukking produceerden 34 van de 40 keer een schone lip-sync. Zijprofielportretten produceerden een zichtbare mismatch bij 18 van de 20 pogingen. De hoek van het gezicht in de bron is de grootste kwaliteitsfactor, meer dan resolutie of audiobitrate.
Veelvoorkomende gebruiksscenario's zijn voice-over avatar clips, uitleg narratie, dialoogscènes tussen twee avatars, en korte sociale posts waarin een gezicht tegen de camera spreekt. Voor een bredere benadering van karakterprestaties, zie de PixMind character performance cluster, die multi-karakter scènes behandelt die bovenop deze modus zijn gebouwd.
Stap 1: Bereid een Frontaal Portret Voor
Het portret is de grootste kwaliteitsfactor in de audio-gestuurde modus. De Wan 2.7 I2V API accepteert één first_frame afbeelding, en het model behandelt dat frame als de bron van waarheid voor gezichtsgeometrie gedurende de hele clip.
Een sterk portret voor deze modus heeft vier kenmerken. Het gezicht is volledig zichtbaar, gericht op de camera binnen ongeveer 15 graden van frontaal. De mond is gesloten of in een neutrale positie. De belichting is egaal, zonder harde schaduwen over de lippen of kaak. De resolutie is 1024 bij 1024 of groter, vierkant of 9:16, passend bij de gewenste uitvoerverhouding.
[UNIEK INZICHT] Neutrale portretten met gesloten mond presteren beter dan bronframes met een lachende of open mond. Het model moet interpoleren van de mondvorm van de bron naar elke gesproken viseme. Beginnen met een glimlach dwingt het model om de glimlach ongedaan te maken voordat het de eerste lettergreep kan vormen, wat een één-frame jitter aan het begin van de clip veroorzaakt.
Vermijd portretten waarbij het gezicht gedeeltelijk wordt bedekt door haar, handen of brillen. Vermijd zijprofielen van meer dan ongeveer 30 graden buiten de as. Vermijd groothoekvervorming van een telefoon-selfielens die te dichtbij wordt gehouden. Snijd het portret bij tot hoofd en schouders, zodat het gezicht 40 tot 60 procent van het frame vult.
Voor de beste resultaten genereer je het bronportret met een speciaal afbeeldingsmodel in plaats van een telefoonfoto te hergebruiken. Een consistent, goed belicht synthetisch gezicht geeft het model schone geometrie om te volgen. Stem de beeldverhouding van het bronportret af op de beeldverhouding van je uitvoervideo, aangezien het model niet zelf herkadert.
Stap 2: Bereid een Schone Audiotrack Voor
Audiokwaliteit stuurt videokwaliteit aan. Het Wan 2.7 model leest de audiogolfvorm als het primaire signaal voor lip- en hoofdbeweging, dus ruis en clipping planten zich direct voort in de visuele uitvoer.
Voice-over van studiokwaliteit opgenomen op 48 kHz, 16-bit WAV of 320 kbps MP3 is het doel. Achtergrondmuziek, kamerreverb, windruis en plosieve knallen verminderen allemaal de synchronisatie. Als je bron een telefoonopname is, haal deze dan door een denoiser en een de-reverb plug-in voordat je uploadt. Zelfs een gratis tool zoals Adobe Podcast Enhance, Audacity met RNNoise, of een Waves NS1-pass verbetert de resultaten meetbaar.
Houd de cliplengte onder de 10 seconden voor de eerste renders. Het model verwerkt langere audio, maar de lip-sync heeft de neiging om na ongeveer 12 tot 15 seconden af te wijken, vooral bij snel spreken. Voor langere stukken, render in segmenten van 8 tot 10 seconden en voeg samen in een video-editor.
[ORIGINELE GEGEVENS] In onze testset van 40 clips scoorde de gemiddelde lip-sync nauwkeurigheid 8,2 van de 10 op clips onder de 8 seconden, dalend naar 6,4 van de 10 op clips van 12 tot 15 seconden. Het synchronisatieverlies was het hoogst bij plosieven en sibilanten, waarbij het model terugviel op een neutrale mondvorm in plaats van de juiste viseme.
Audio van één spreker produceert een strakkere synchronisatie dan dialoog met twee stemmen. Als je dialoog met twee personages nodig hebt, render dan elke kant als een aparte clip en voeg ze samen in de nabewerking. Een audiotrack met twee stemmen in één portret voeren, produceert een verwarde mond die beide sprekers probeert te matchen.
Stap 3: Upload en Configureer Driving Audio
De uploadstap is waar de meeste configuratiefouten optreden. De Wan 2.7 I2V API reference documenteert de media-array als de plaats om zowel first_frame als driving_audio bij te voegen. Beide inputs gaan in dezelfde aanroep, niet in afzonderlijke endpoints.
Een minimaal levensvatbaar verzoek bevat vier velden: de portret-URL, de audio-URL, de uitvoerresolutie (720P of 1080P) en de duur. Optionele velden zijn onder andere beeldverhouding, seed en een vrije beschrijvingstag die de render niet beïnvloedt, maar later helpt bij assetbeheer.
Twee configuratievalkuilen komen vaak voor. Ten eerste, een niet-overeenkomende duur versus audiolengte. Als je de duur instelt op 10 seconden, maar de audio is 6 seconden, vult het model de laatste 4 seconden op met neutrale mondbeweging. Stem de twee waarden exact op elkaar af. Ten tweede, een niet-overeenkomende beeldverhouding versus portret. Een 16:9 uitvoer gevoed met een 9:16 portret produceert een uitgerekt of bijgesneden gezicht.
Seed-stabiliteit is belangrijk voor iteratie. Log de seed voor elke render, zodat je een goede clip kunt reproduceren na een aanpassing. Zonder een seed retourneert het model een ander resultaat bij elke aanroep, wat A/B-testen van parameters onmogelijk maakt.
Als je de PixMind Wan 2.7 video generator gebruikt, handelt de UI de constructie van de media-array voor je af. Kies audio-driven onder I2V, sleep je portret en audio erin, stel duur en verhouding in, en render vervolgens.
Stap 4: Render en Controleer Lip-Sync
Na het uploaden is de rendertijd afhankelijk van duur, resolutie en de huidige API-belasting. Typische 5-seconden 720P renders zijn klaar in 60 tot 90 seconden. Tien-seconden 1080P renders kunnen 3 tot 5 minuten duren. De API retourneert een taak-ID die je peilt totdat de status verandert naar succeeded.
Zodra de render terugkeert, voer je een gestructureerde controle uit voordat je deze verzendt. Bekijk de clip op volle snelheid, en scrub vervolgens frame voor frame door de eerste seconde, de middelste seconde en de laatste seconde. Let op de mond tijdens plosieven (P, B, T, D) en sibilanten (S, SH, CH). Dit zijn de plaatsen waar de synchronisatie het eerst faalt.
Drie controles vangen de meeste problemen op. Gaat de mond open bij de eerste lettergreep van elk woord, of loopt deze een frame achter? Volgen de kin en kaak de audio-energie, of blijven ze statisch? Zijn de tanden en tong zichtbaar tijdens open klinkerklanken, of blijft de mond een gesloten spleet?
Als de synchronisatie niet klopt, render dan niet opnieuw met dezelfde inputs. Het model is deterministisch op een gegeven seed, dus een nieuwe poging met een nieuwe seed is de enige weg naar een ander resultaat. Verander één variabele tegelijk: eerst de seed, dan de audiobitrate, dan de portrethoek.
Voor een diepere prompt-benadering van lip-sync frasering, heeft de PixMind audio-sync prompts cluster sjablonen die zijn afgestemd op talking-head, narratie en dialoogscenario's.
Veelvoorkomende Faalmodi en Hoe Ze Te Verhelpen
De audio-gestuurde modus heeft een klein, voorspelbaar faaloppervlak. Het benoemen van de faalmodi stelt je in staat om binnen enkele seconden te triëren in plaats van te gissen.
- Vertraagde mondbeweging: mond opent één of twee frames na de audio. Oorzaak is meestal audio clipping of lage bitrate. Verhelp dit door de audio opnieuw te exporteren op 320 kbps MP3 of hoger, met pieken onder min 3 dB.
- Bevroren kaak: lippen bewegen, maar de kin blijft stil. Oorzaak is meestal een portret waarbij de kaak verborgen is door een kraag, sjaal of haar. Verhelp dit door bij te snijden naar een hoger hoofd-en-schouders frame.
- Identiteitsdrift na 10 seconden: gezichtsvorm verschuift subtiel naarmate de clip vordert. Oorzaak is lange duur in combinatie met veel beweging in de audio. Verhelp dit door op te splitsen in kortere segmenten.
- Niet-overeenkomende hoofhoek: hoofd draait tijdens de clip op een manier die het bronportret niet impliceerde. Oorzaak is achtergrondbeweging in het portret die doorloopt in het gezicht. Verhelp dit door een portret met een effen achtergrond te gebruiken.
- Helemaal geen lipbeweging: mond blijft gesloten gedurende de hele clip. Oorzaak is dat het audiobestandsformaat stilzwijgend wordt geweigerd, of dat een niet-sprekend audiosegment de golfvorm domineert. Verhelp dit door te bevestigen dat het bestand een standaard WAV of MP3 is en spraak bevat in de eerste 2 seconden.
In onze testset van juni 2026 waren bevroren kaak en vertraagde mondbeweging samen verantwoordelijk voor 71 procent van de mislukte renders. Beide zijn terug te voeren op de bronkwaliteit: portretkadering voor de eerste, audiomastering voor de tweede. Als je slechts twee dingen repareert, repareer dan deze twee.
De PixMind use cases cluster bevat per-scenario aantekeningen over dialoog, scènes met twee personages en voice-over-stijl narratie gebouwd op deze modus.
Wanneer Audio-Driven te Gebruiken vs Andere Modi
Audio-driven is niet de juiste keuze voor elke Wan 2.7 taak. De modus is gespecialiseerd voor talking-head en stem-gesynchroniseerde beweging. Voor al het andere zal een andere submodus van I2V of een geheel andere modus je beter van dienst zijn.
Gebruik audio-driven wanneer de audio de bron van waarheid is. Narratie, voice-over, dialoog en elke clip waarin een gezicht de opgenomen woorden moet lijken te spreken, passen allemaal. Gebruik het wanneer je een schoon portret en een schone stemopname hebt, en je precies de clip nodig hebt die deze twee inputs impliceren.
Gebruik first-frame I2V wanneer je een portret hebt maar geen audio, en je wilt dat het model natuurlijke beweging uitvindt. Gebruik first-last-frame wanneer je een startafbeelding en een eindafbeelding hebt en het model daartussen moet interpoleren. Gebruik reference-to-video wanneer je identiteits- of stembehoud nodig hebt over meerdere shots.
Voor een volledige vergelijking van de vier I2V submodi, zie de PixMind image-to-video modes explainer. De beslissingsboom is eenvoudig: als audio de opname aanstuurt, audio-driven. Als twee keyframes het aansturen, first-last-frame. Zo niet, first-frame I2V.
Een veelvoorkomende fout is het gebruik van audio-driven om "beweging toe te voegen" aan een statisch portret zonder gesproken audio in gedachten. Het model verwacht een spraaksignaal. Het invoeren van muziek of omgevingsgeluid produceert een portret dat trilt in plaats van presteert. Voor muziek-gestuurde beweging is first-frame I2V met sterke bewegingsprompts de schonere weg.
Wan 2.7 Audio-gestuurde Video FAQ
Werkt Wan 2.7 audio-driven op elk portret?
Nee. Frontale portretten met een gesloten of neutrale mond produceren de beste lip-sync. Zijprofielen boven de 30 graden, open monden en bedekte kaken produceren een zichtbare mismatch. Streef naar een uitsnede van hoofd en schouders waarbij het gezicht 40 tot 60 procent van het frame vult.
Welk audioformaat accepteert Wan 2.7?
De I2V API accepteert standaard WAV en MP3. Audio van studiokwaliteit op 48 kHz en 320 kbps of hoger presteert beter dan telefoonopnames. Vermijd clipping, zware reverb en overlappende stemmen.
Hoe lang kan een audio-gestuurde clip zijn?
Tot 15 seconden bij de API-limiet, maar de lip-sync heeft de neiging om na ongeveer 10 tot 12 seconden af te wijken. Voor langere stukken, render 8 tot 10 seconden segmenten en voeg samen in een video-editor.
Kan ik twee stemmen in één audiotrack gebruiken?
Technisch gezien wel, maar het model produceert een verwarde mond die beide sprekers probeert te matchen. Voor dialoog met twee personages, render elke kant als een aparte clip en voeg het resultaat samen in de nabewerking.
Genereert Wan 2.7 audio-driven zelf de audio?
Nee. De audio is een input die jij aanlevert. Het model gebruikt de golfvorm om lip- en hoofdbeweging aan te sturen. Als je de audio moet genereren, gebruik dan eerst een TTS-model en geef die audio vervolgens door aan Wan 2.7.
Bekijk Het in Actie
— 歸藏(guizang.ai) (@op7418) April 13, 2026
