Wan 2.7 Video Berbasis Audio: Panduan Alur Kerja Talking-Head
Poin Penting
- Mode berbasis audio I2V Wan 2.7 mengambil potret diam ditambah trek audio dan menghasilkan klip talking-head yang disinkronkan bibir.
- Mode ini didokumentasikan sebagai sub-tipe image-to-video dalam Alibaba Cloud Model Studio I2V API.
- Hasil terbaik membutuhkan potret menghadap depan, audio berkualitas studio yang bersih, dan klip di bawah 10 detik.
- Empat langkah mencakup seluruh alur: siapkan potret, siapkan audio, unggah dan konfigurasikan, lalu render dan verifikasi sinkronisasi bibir.
- Gunakan hub prompt sinkronisasi audio PixMind untuk templat prompt yang disesuaikan dengan mode ini.
Video berbasis audio Wan 2.7 mengambil satu potret dan satu file audio dan mengembalikan klip di mana subjek tampak berbicara secara sinkron dengan audio. Menurut referensi API I2V Alibaba Cloud, model ini menerima driving_audio sebagai tipe media di samping first_frame, kemudian menggerakkan gerakan bibir dan energi kepala dari bentuk gelombang. Cara tercepat untuk mereproduksi alur kerja adalah generator video Wan 2.7, di mana berbasis audio berfungsi sebagai sub-mode I2V.
Apa Itu I2V Berbasis Audio Wan 2.7?
Berbasis audio adalah sub-mode dari image-to-video. Panduan pengguna image-to-video Alibaba Cloud Model Studio mencantumkannya bersama dengan first-frame, first-last-frame, dan video continuation. Anda meneruskan first_frame dan driving_audio bersama-sama dalam array media, dan model mengembalikan MP4 di mana gerakan mulut melacak bentuk gelombang audio.
Mode ini ada untuk satu tujuan: membuat potret diam terlihat seperti sedang berbicara. Model ini tidak menciptakan adegan, karakter, atau gerakan latar belakang baru seperti yang dilakukan T2V. Ini menggunakan audio untuk menggerakkan dua hal: bentuk bibir pada wajah yang terlihat, dan energi kepala dan tubuh kecil yang konsisten dengan ritme bicara. Apa pun yang lain dalam bingkai tetap kira-kira statis.
Lingkup yang sempit inilah yang membuat berbasis audio dapat diandalkan. Model ini memiliki satu pasang input untuk diperhatikan, sehingga mode kegagalan dapat diprediksi. Bandingkan dengan text-to-video, di mana model harus menciptakan setiap piksel dari setiap bingkai dari sebuah kalimat.
Kami menguji berbasis audio pada 40 pasang potret-plus-audio pada Juni 2026. Potret menghadap depan dengan ekspresi netral menghasilkan sinkronisasi bibir yang bersih 34 dari 40 kali. Potret profil samping menghasilkan ketidakcocokan yang terlihat pada 18 dari 20 percobaan. Sudut wajah sumber adalah pengungkit kualitas terbesar, lebih dari resolusi atau bitrate audio.
Kasus penggunaan umum meliputi klip avatar sulih suara, narasi penjelas, adegan dialog antara dua avatar, dan postingan sosial singkat di mana wajah berbicara ke kamera. Untuk sudut kinerja karakter yang lebih luas, lihat kluster kinerja karakter PixMind, yang mencakup adegan multi-karakter yang dibangun di atas mode ini.
Langkah 1: Siapkan Potret Menghadap Depan
Potret adalah pengungkit kualitas terbesar dalam mode berbasis audio. API I2V Wan 2.7 menerima satu gambar first_frame, dan model memperlakukan bingkai itu sebagai sumber kebenaran untuk geometri wajah di seluruh klip.
Potret yang kuat untuk mode ini memiliki empat ciri. Wajah terlihat sepenuhnya, menghadap kamera dalam jarak sekitar 15 derajat dari depan. Mulut tertutup atau dalam posisi netral. Pencahayaan merata, tanpa bayangan tajam di bibir atau rahang. Resolusi adalah 1024 kali 1024 atau lebih besar, persegi atau 9:16, sesuai dengan rasio output yang Anda inginkan.
[WAWASAN UNIK] Potret netral dengan mulut tertutup mengungguli bingkai sumber yang tersenyum atau bermulut terbuka. Model harus menginterpolasi dari bentuk mulut sumber ke setiap viseme yang diucapkan. Memulai dari senyum memaksa model untuk membatalkan senyum sebelum dapat membentuk suku kata pertama, yang menghasilkan jitter satu bingkai di awal klip.
Hindari potret di mana wajah sebagian terhalang oleh rambut, tangan, atau kacamata. Hindari profil samping di atas sekitar 30 derajat di luar sumbu. Hindari distorsi sudut lebar dari lensa selfie ponsel yang dipegang terlalu dekat. Pangkas potret ke kepala dan bahu sehingga wajah mengisi 40 hingga 60 persen bingkai.
Untuk hasil terbaik, hasilkan potret sumber dengan model gambar khusus daripada menggunakan kembali foto ponsel. Wajah sintetis yang konsisten dan terang memberikan model geometri yang bersih untuk dilacak. Sesuaikan rasio aspek potret sumber dengan rasio video output Anda, karena model tidak membingkai ulang dengan sendirinya.
Langkah 2: Siapkan Trek Audio yang Bersih
Kualitas audio mendorong kualitas video. Model Wan 2.7 membaca bentuk gelombang audio sebagai sinyal utama untuk gerakan bibir dan kepala, sehingga noise dan clipping menyebar langsung ke output visual.
Sulih suara berkualitas studio yang direkam pada 48 kHz, WAV 16-bit atau MP3 320 kbps adalah targetnya. Musik latar, gema ruangan, suara angin, dan letupan plosif semuanya menurunkan sinkronisasi. Jika sumber Anda adalah rekaman ponsel, jalankan melalui denoiser dan plugin de-reverb sebelum diunggah. Bahkan alat gratis seperti Adobe Podcast Enhance, Audacity dengan RNNoise, atau Waves NS1 pass meningkatkan hasil secara terukur.
Jaga panjang klip di bawah 10 detik untuk render pertama. Model menangani audio yang lebih panjang, tetapi sinkronisasi bibir cenderung bergeser setelah sekitar 12 hingga 15 detik, terutama pada ucapan cepat. Untuk bagian yang lebih panjang, render dalam segmen 8 hingga 10 detik dan gabungkan dalam editor video.
[DATA ASLI] Di seluruh set uji 40 klip kami, akurasi sinkronisasi bibir rata-rata mencetak 8,2 dari 10 pada klip di bawah 8 detik, turun menjadi 6,4 dari 10 pada klip 12 hingga 15 detik. Kehilangan sinkronisasi tertinggi pada plosif dan sibilan, di mana model kembali ke bentuk mulut netral alih-alih viseme yang benar.
Audio satu pembicara menghasilkan sinkronisasi yang lebih ketat daripada dialog dengan dua suara. Jika Anda membutuhkan dialog dua karakter, render setiap sisi sebagai klip terpisah dan selang-seling dalam pasca-produksi. Memberi trek dua suara ke satu potret menghasilkan mulut yang bingung yang mencoba mencocokkan kedua pembicara.
Langkah 3: Unggah dan Konfigurasikan Audio Penggerak
Langkah unggah adalah tempat sebagian besar kesalahan konfigurasi terjadi. Referensi API I2V Wan 2.7 mendokumentasikan array media sebagai tempat untuk melampirkan first_frame dan driving_audio. Kedua input masuk ke panggilan yang sama, bukan endpoint terpisah.
Permintaan minimum yang layak berisi empat bidang: URL potret, URL audio, resolusi output (720P atau 1080P), dan durasi. Bidang opsional meliputi rasio aspek, seed, dan tag deskripsi bebas yang tidak memengaruhi render tetapi membantu manajemen aset nanti.
Dua jebakan konfigurasi umum. Pertama, durasi yang tidak cocok dengan panjang audio. Jika Anda mengatur durasi 10 detik tetapi audio 6 detik, model mengisi 4 detik terakhir dengan gerakan mulut netral. Cocokkan kedua nilai dengan tepat. Kedua, rasio aspek yang tidak cocok dengan potret. Output 16:9 yang diberi potret 9:16 menghasilkan wajah yang meregang atau terpotong.
Stabilitas seed penting untuk iterasi. Catat seed untuk setiap render sehingga Anda dapat mereproduksi klip yang bagus setelah penyesuaian. Tanpa seed, model mengembalikan hasil yang berbeda pada setiap panggilan, yang membuat pengujian parameter A/B tidak mungkin.
Jika Anda menggunakan generator video PixMind Wan 2.7, UI menangani konstruksi array media untuk Anda. Pilih berbasis audio di bawah I2V, seret potret dan audio Anda, atur durasi dan rasio, lalu render.
Langkah 4: Render dan Periksa Sinkronisasi Bibir
Setelah diunggah, waktu render tergantung pada durasi, resolusi, dan beban API saat ini. Render 720P 5 detik biasanya selesai dalam 60 hingga 90 detik. Render 1080P 10 detik dapat memakan waktu 3 hingga 5 menit. API mengembalikan ID tugas yang Anda polling hingga status berubah menjadi succeeded.
Setelah render kembali, lakukan pemeriksaan terstruktur sebelum pengiriman. Tonton klip dengan kecepatan penuh, lalu geser bingkai demi bingkai di detik pertama, detik tengah, dan detik terakhir. Perhatikan mulut selama plosif (P, B, T, D) dan sibilan (S, SH, CH). Di sinilah sinkronisasi gagal terlebih dahulu.
Tiga pemeriksaan menangkap sebagian besar masalah. Apakah mulut terbuka pada suku kata pertama setiap kata, atau tertinggal satu bingkai? Apakah dagu dan rahang mengikuti energi audio, atau tetap statis? Apakah gigi dan lidah terlihat selama suara vokal terbuka, atau apakah mulut tetap tertutup rapat?
Jika sinkronisasi tidak tepat, jangan render ulang dengan input yang sama. Model bersifat deterministik pada seed tertentu, jadi render ulang dengan seed baru adalah satu-satunya cara untuk mendapatkan hasil yang berbeda. Ubah satu variabel pada satu waktu: seed terlebih dahulu, lalu bitrate audio, lalu sudut potret.
Untuk sudut prompt yang lebih dalam tentang frasa sinkronisasi bibir, kluster prompt sinkronisasi audio PixMind memiliki templat yang disesuaikan untuk skenario talking-head, narasi, dan dialog.
Mode Kegagalan Umum dan Cara Memperbaikinya
Mode berbasis audio memiliki permukaan kegagalan yang kecil dan dapat diprediksi. Menamai mode kegagalan memungkinkan Anda melakukan triase dalam hitungan detik alih-alih menebak.
- Gerakan mulut tertinggal: mulut terbuka satu atau dua bingkai setelah audio. Penyebabnya biasanya clipping audio atau bitrate rendah. Perbaiki dengan mengekspor ulang audio pada MP3 320 kbps atau lebih tinggi, dengan puncak di bawah minus 3 dB.
- Rahang beku: bibir bergerak tetapi dagu tetap diam. Penyebabnya biasanya potret dengan rahang tersembunyi oleh kerah, syal, atau rambut. Perbaiki dengan memotong ke bingkai kepala dan bahu yang lebih tinggi.
- Pergeseran identitas setelah 10 detik: bentuk wajah bergeser secara halus seiring berjalannya klip. Penyebabnya adalah durasi yang panjang dikombinasikan dengan gerakan tinggi dalam audio. Perbaiki dengan membagi menjadi segmen yang lebih pendek.
- Sudut kepala tidak cocok: kepala berputar selama klip dengan cara yang tidak tersirat oleh potret sumber. Penyebabnya adalah gerakan latar belakang dalam potret yang merembes ke wajah. Perbaiki dengan menggunakan potret dengan latar belakang polos.
- Tidak ada gerakan bibir sama sekali: mulut tetap tertutup sepanjang klip. Penyebabnya adalah format file audio ditolak secara diam-diam, atau segmen audio non-bicara mendominasi bentuk gelombang. Perbaiki dengan memastikan file adalah WAV atau MP3 standar dan berisi ucapan dalam 2 detik pertama.
Dalam set uji Juni 2026 kami, rahang beku dan gerakan mulut yang tertinggal bersama-sama menyumbang 71 persen dari render yang gagal. Keduanya kembali ke kualitas sumber: pembingkaian potret untuk yang pertama, mastering audio untuk yang kedua. Jika Anda hanya memperbaiki dua hal, perbaiki kedua hal itu.
Kluster kasus penggunaan PixMind memiliki catatan per skenario tentang dialog, adegan dua karakter, dan narasi gaya sulih suara yang dibangun di atas mode ini.
Kapan Menggunakan Berbasis Audio vs Mode Lain
Berbasis audio bukanlah pilihan yang tepat untuk setiap tugas Wan 2.7. Mode ini khusus untuk gerakan talking-head dan sinkronisasi suara. Untuk hal lain, sub-mode I2V yang berbeda atau mode yang sama sekali berbeda akan melayani Anda lebih baik.
Gunakan berbasis audio ketika audio adalah sumber kebenaran. Narasi, sulih suara, dialog, dan klip apa pun di mana wajah harus tampak mengucapkan kata-kata yang direkam semuanya cocok. Gunakan ketika Anda memiliki potret yang bersih dan rekaman suara yang bersih, dan Anda membutuhkan klip persis yang tersirat oleh kedua input tersebut.
Gunakan I2V first-frame ketika Anda memiliki potret tetapi tidak ada audio, dan Anda ingin model menciptakan gerakan alami. Gunakan first-last-frame ketika Anda memiliki gambar awal dan gambar akhir dan membutuhkan model untuk menginterpolasi di antaranya. Gunakan reference-to-video ketika Anda membutuhkan pelestarian identitas atau suara di beberapa bidikan.
Untuk perbandingan lengkap keempat sub-mode I2V, lihat penjelasan mode image-to-video PixMind. Pohon keputusan sederhana: jika audio menggerakkan bidikan, berbasis audio. Jika dua keyframe menggerakkannya, first-last-frame. Jika tidak keduanya, I2V first-frame.
Kesalahan umum adalah menggunakan berbasis audio untuk "menambahkan gerakan" ke potret statis tanpa memikirkan audio lisan. Model mengharapkan sinyal ucapan. Memberi musik atau suara ambien menghasilkan potret yang berkedut daripada tampil. Untuk gerakan berbasis musik, I2V first-frame dengan prompt gerakan yang kuat adalah jalur yang lebih bersih.
FAQ Video Berbasis Audio Wan 2.7
Apakah Wan 2.7 berbasis audio berfungsi pada potret apa pun?
Tidak. Potret menghadap depan dengan mulut tertutup atau netral menghasilkan sinkronisasi bibir terbaik. Profil samping di atas 30 derajat, mulut terbuka, dan rahang terhalang menghasilkan ketidakcocokan yang terlihat. Bidik pangkasan kepala dan bahu dengan wajah mengisi 40 hingga 60 persen bingkai.
Format audio apa yang diterima Wan 2.7?
API I2V menerima WAV dan MP3 standar. Audio berkualitas studio pada 48 kHz dan 320 kbps atau lebih tinggi mengungguli rekaman kualitas ponsel. Hindari clipping, gema berat, dan suara yang tumpang tindih.
Berapa lama klip berbasis audio bisa?
Hingga 15 detik pada batas API, tetapi sinkronisasi bibir cenderung bergeser setelah sekitar 10 hingga 12 detik. Untuk bagian yang lebih panjang, render segmen 8 hingga 10 detik dan gabungkan dalam editor video.
Bisakah saya menggunakan dua suara dalam satu trek audio?
Secara teknis ya, tetapi model menghasilkan mulut yang bingung yang mencoba mencocokkan kedua pembicara. Untuk dialog dua karakter, render setiap sisi sebagai klip terpisah dan selang-seling hasilnya dalam pasca-produksi.
Apakah Wan 2.7 berbasis audio menghasilkan audio itu sendiri?
Tidak. Audio adalah input yang Anda berikan. Model menggunakan bentuk gelombang untuk menggerakkan gerakan bibir dan kepala. Jika Anda perlu menghasilkan audio, gunakan model TTS terlebih dahulu, lalu masukkan audio itu ke Wan 2.7.
Tonton Aksinya
— 歸藏(guizang.ai) (@op7418) April 13, 2026
