El video impulsado por audio de Wan 2.7 toma un retrato y un archivo de audio y devuelve un clip donde el sujeto parece hablar sincronizado con el audio. Según la referencia de la API I2V de Alibaba Cloud, el modelo acepta driving_audio como un tipo de medio junto con first_frame, luego impulsa el movimiento de los labios y la energía de la cabeza a partir de la forma de onda. La forma más rápida de reproducir el flujo de trabajo es el generador de video Wan 2.7, donde el modo impulsado por audio se encuentra como un submodo de I2V.
Impulsado por audio es un submodo de imagen a video. La guía de usuario de imagen a video de Alibaba Cloud Model Studio lo enumera junto con first-frame, first-last-frame y continuación de video. Se pasan first_frame y driving_audio juntos en el array de medios, y el modelo devuelve un MP4 donde el movimiento de la boca sigue la forma de onda del audio.
El modo existe para un solo trabajo: hacer que un retrato estático parezca que está hablando. El modelo no inventa nuevas escenas, personajes o movimiento de fondo como lo hace T2V. Utiliza el audio para impulsar dos cosas: la forma de los labios en la cara visible y una pequeña energía de la cabeza y el cuerpo consistente con el ritmo del habla. Cualquier otra cosa en el encuadre permanece aproximadamente estática.
Este alcance limitado es lo que hace que el modo impulsado por audio sea fiable. El modelo tiene un par de entradas a las que atender, por lo que los modos de fallo son predecibles. Compare eso con el texto a video, donde el modelo tiene que inventar cada píxel de cada fotograma a partir de una oración.
Probamos el modo impulsado por audio en 40 pares de retrato más audio en junio de 2026. Los retratos frontales con expresión neutral produjeron una sincronización labial limpia 34 de 40 veces. Los retratos de perfil lateral produjeron una desincronización visible en 18 de 20 intentos. El ángulo de la cara de origen es la mayor palanca de calidad, más que la resolución o la tasa de bits de audio.
Los casos de uso comunes incluyen clips de avatares de voz en off, narración explicativa, escenas de diálogo entre dos avatares y publicaciones sociales cortas donde una cara habla a la cámara. Para un ángulo más amplio de rendimiento de personajes, consulte el clúster de rendimiento de personajes de PixMind, que cubre escenas de múltiples personajes construidas sobre este modo.
El retrato es la mayor palanca de calidad en el modo impulsado por audio. La API I2V de Wan 2.7 acepta una única imagen first_frame, y el modelo trata ese fotograma como la fuente de verdad para la geometría facial a lo largo de todo el clip.
Un retrato fuerte para este modo tiene cuatro características. La cara es completamente visible, mirando a la cámara dentro de aproximadamente 15 grados de frontal. La boca está cerrada o en una posición neutral. La iluminación es uniforme, sin sombras duras en los labios o la mandíbula. La resolución es de 1024 por 1024 o más, cuadrada o 9:16, coincidiendo con la relación de salida deseada.
[INFORMACIÓN ÚNICA] Los retratos neutrales con la boca cerrada superan a los fotogramas de origen sonrientes o con la boca abierta. El modelo tiene que interpolar desde la forma de la boca de origen a cada visema hablado. Comenzar con una sonrisa obliga al modelo a deshacer la sonrisa antes de poder dar forma a la primera sílaba, lo que produce una fluctuación de un fotograma al inicio del clip.
Evite retratos donde la cara esté parcialmente ocluida por el cabello, las manos o las gafas. Evite los perfiles laterales por encima de aproximadamente 30 grados fuera del eje. Evite la distorsión de gran angular de una lente de selfie de teléfono sostenida demasiado cerca. Recorte el retrato a cabeza y hombros para que la cara ocupe del 40 al 60 por ciento del encuadre.
Para obtener los mejores resultados, genere el retrato de origen con un modelo de imagen dedicado en lugar de reutilizar una foto de teléfono. Una cara sintética consistente y bien iluminada le da al modelo una geometría limpia para rastrear. Haga coincidir la relación de aspecto del retrato de origen con la relación de su video de salida, ya que el modelo no reencuadra por sí mismo.
La calidad del audio impulsa la calidad del video. El modelo Wan 2.7 lee la forma de onda del audio como la señal principal para el movimiento de los labios y la cabeza, por lo que el ruido y el recorte se propagan directamente a la salida visual.
El objetivo es una voz en off de calidad de estudio grabada a 48 kHz, WAV de 16 bits o MP3 de 320 kbps. La música de fondo, la reverberación de la sala, el ruido del viento y los chasquidos oclusivos degradan la sincronización. Si su fuente es una grabación de teléfono, pásela por un eliminador de ruido y un plugin de desreverberación antes de subirla. Incluso una herramienta gratuita como Adobe Podcast Enhance, Audacity con RNNoise o un pase de Waves NS1 mejora los resultados de forma medible.
Mantenga la duración del clip por debajo de los 10 segundos para las primeras renderizaciones. El modelo maneja audio más largo, pero la sincronización labial tiende a desviarse después de aproximadamente 12 a 15 segundos, especialmente en el habla rápida. Para piezas más largas, renderice en segmentos de 8 a 10 segundos y únalos en un editor de video.
[DATOS ORIGINALES] En nuestro conjunto de pruebas de 40 clips, la precisión media de la sincronización labial obtuvo una puntuación de 8.2 sobre 10 en clips de menos de 8 segundos, cayendo a 6.4 sobre 10 en clips de 12 a 15 segundos. La pérdida de sincronización fue mayor en oclusivas y sibilantes, donde el modelo volvió a una forma de boca neutral en lugar del visema correcto.
El audio de un solo hablante produce una sincronización más ajustada que el diálogo con dos voces. Si necesita un diálogo de dos personajes, renderice cada lado como un clip separado e intercale en la postproducción. Alimentar una pista de dos voces a un solo retrato produce una boca confusa que intenta coincidir con ambos hablantes.
El paso de subida es donde ocurren la mayoría de los errores de configuración. La referencia de la API I2V de Wan 2.7 documenta el array de medios como el lugar para adjuntar tanto first_frame como driving_audio. Ambas entradas van en la misma llamada, no en puntos finales separados.
Una solicitud mínima viable contiene cuatro campos: la URL del retrato, la URL del audio, la resolución de salida (720P o 1080P) y la duración. Los campos opcionales incluyen la relación de aspecto, la semilla y una etiqueta de descripción de formato libre que no afecta la renderización pero ayuda con la gestión de activos más adelante.
Dos errores de configuración son comunes. Primero, la duración no coincide con la longitud del audio. Si establece la duración en 10 segundos pero el audio es de 6 segundos, el modelo rellena los últimos 4 segundos con movimiento de boca neutral. Haga coincidir los dos valores exactamente. Segundo, la relación de aspecto no coincide con el retrato. Una salida 16:9 alimentada con un retrato 9:16 produce una cara estirada o recortada.
La estabilidad de la semilla es importante para la iteración. Registre la semilla para cada renderización para que pueda reproducir un buen clip después de un ajuste. Sin una semilla, el modelo devuelve un resultado diferente en cada llamada, lo que hace imposible la prueba A/B de parámetros.
Si está utilizando el generador de video PixMind Wan 2.7, la interfaz de usuario se encarga de la construcción del array de medios por usted. Seleccione impulsado por audio bajo I2V, arrastre su retrato y audio, establezca la duración y la relación, luego renderice.
Después de la subida, el tiempo de renderización depende de la duración, la resolución y la carga actual de la API. Las renderizaciones típicas de 5 segundos en 720P terminan en 60 a 90 segundos. Las renderizaciones de 10 segundos en 1080P pueden tardar de 3 a 5 minutos. La API devuelve un ID de tarea que se consulta hasta que el estado cambia a succeeded.
Una vez que se devuelve la renderización, realice una verificación estructurada antes de entregar. Vea el clip a velocidad normal, luego avance fotograma a fotograma a través del primer segundo, el segundo medio y el último segundo. Observe la boca durante las oclusivas (P, B, T, D) y las sibilantes (S, SH, CH). Aquí es donde la sincronización falla primero.
Tres verificaciones detectan la mayoría de los problemas. ¿Se abre la boca en la primera sílaba de cada palabra, o se retrasa un fotograma? ¿La barbilla y la mandíbula siguen la energía del audio, o permanecen estáticas? ¿Son visibles los dientes y la lengua durante los sonidos de vocales abiertas, o la boca permanece como una hendidura cerrada?
Si la sincronización está desactivada, no vuelva a renderizar con las mismas entradas. El modelo es determinista en una semilla dada, por lo que una nueva renderización con una nueva semilla es el único camino hacia un resultado diferente. Cambie una variable a la vez: primero la semilla, luego la tasa de bits de audio, luego el ángulo del retrato.
Para un ángulo de prompt más profundo sobre el fraseo de sincronización labial, el clúster de prompts de sincronización de audio de PixMind tiene plantillas ajustadas para escenarios de cabeza parlante, narración y diálogo.
El modo impulsado por audio tiene una superficie de fallo pequeña y predecible. Nombrar los modos de fallo le permite clasificarlos en segundos en lugar de adivinar.
En nuestro conjunto de pruebas de junio de 2026, la mandíbula congelada y el movimiento de boca retrasado representaron juntos el 71 por ciento de las renderizaciones fallidas. Ambos se remontan a la calidad de la fuente: el encuadre del retrato para el primero, la masterización del audio para el segundo. Si solo arregla dos cosas, arregle esas dos.
El clúster de casos de uso de PixMind tiene notas por escenario sobre diálogo, escenas de dos personajes y narración estilo voz en off construidas sobre este modo.
El modo impulsado por audio no es la opción correcta para cada tarea de Wan 2.7. El modo está especializado para cabezas parlantes y movimiento sincronizado con la voz. Para cualquier otra cosa, un submodo diferente de I2V o un modo completamente diferente le servirá mejor.
Use el modo impulsado por audio cuando el audio sea la fuente de verdad. Narración, voz en off, diálogo y cualquier clip donde una cara deba parecer hablar las palabras grabadas, todo encaja. Úselo cuando tenga un retrato limpio y una grabación de voz limpia, y necesite exactamente el clip que implican esas dos entradas.
Use first-frame I2V cuando tenga un retrato pero no audio, y quiera que el modelo invente movimiento natural. Use first-last-frame cuando tenga una imagen de inicio y una imagen final y necesite que el modelo interpole entre ellas. Use reference-to-video cuando necesite preservar la identidad o la voz en múltiples tomas.
Para una comparación completa de los cuatro submodos I2V, consulte el explicador de modos de imagen a video de PixMind. El árbol de decisión es sencillo: si el audio impulsa la toma, impulsado por audio. Si dos fotogramas clave lo impulsan, first-last-frame. Si ninguno, first-frame I2V.
Un error común es recurrir al modo impulsado por audio para "añadir movimiento" a un retrato estático sin tener en cuenta ningún audio hablado. El modelo espera una señal de voz. Alimentar música o sonido ambiental produce un retrato que se contrae en lugar de actuar. Para el movimiento impulsado por música, first-frame I2V con prompts de movimiento fuertes es el camino más limpio.
No. Los retratos frontales con la boca cerrada o neutral producen la mejor sincronización labial. Los perfiles laterales por encima de 30 grados, las bocas abiertas y las mandíbulas ocluidas producen una desincronización visible. Apunte a un recorte de cabeza y hombros con la cara ocupando del 40 al 60 por ciento del encuadre.
La API I2V acepta WAV y MP3 estándar. El audio de calidad de estudio a 48 kHz y 320 kbps o superior supera a las grabaciones de calidad de teléfono. Evite el recorte, la reverberación fuerte y las voces superpuestas.
Hasta 15 segundos en el límite de la API, pero la sincronización labial tiende a desviarse después de aproximadamente 10 a 12 segundos. Para piezas más largas, renderice segmentos de 8 a 10 segundos y únalos en un editor de video.
Técnicamente sí, pero el modelo produce una boca confusa que intenta coincidir con ambos hablantes. Para un diálogo de dos personajes, renderice cada lado como un clip separado e intercale el resultado en la postproducción.
No. El audio es una entrada que usted proporciona. El modelo utiliza la forma de onda para impulsar el movimiento de los labios y la cabeza. Si necesita generar el audio, use primero un modelo TTS y luego pase ese audio a Wan 2.7.
— 歸藏(guizang.ai) (@op7418) April 13, 2026
El modo impulsado por audio I2V de Wan 2.7 convierte un retrato estático más una voz en off limpia en un video de cabeza parlante sincronizado con los labios.…
Leer Más
Convierta cualquier foto de producto en un video de marketing 1080P con el modo de primer fotograma I2V de Wan 2.7. Aquí está el flujo de trabajo de 5 pasos con tres plantillas de…
Leer Más
Wan 2.7 reference to video R2V acepta hasta 5 imágenes de referencia, 5 clips de referencia y un audio de referencia en una sola llamada.…
Leer Más