Wan 2.7 오디오 기반 비디오: 토킹헤드 워크플로우 가이드

주요 내용

• Wan 2.7 I2V 오디오 기반 모드는 정지된 인물 사진과 오디오 트랙을 입력받아 립싱크 토킹헤드 클립을 출력합니다.
• 이 모드는 Alibaba Cloud Model Studio I2V API에서 이미지-투-비디오의 하위 유형으로 문서화되어 있습니다.
• 최상의 결과를 위해서는 정면 인물 사진, 깨끗한 스튜디오급 오디오, 그리고 10초 미만의 클립이 필요합니다.
• 전체 파이프라인은 네 단계로 구성됩니다: 인물 사진 준비, 오디오 준비, 업로드 및 구성, 그리고 렌더링 및 립싱크 확인.
• 이 모드에 맞춰 조정된 프롬프트 템플릿은 PixMind audio-sync prompts hub를 참조하세요.

Wan 2.7 오디오 기반 비디오는 하나의 인물 사진과 하나의 오디오 파일을 받아 피사체가 오디오에 맞춰 말하는 것처럼 보이는 클립을 반환합니다. Alibaba Cloud I2V API 참조에 따르면, 이 모델은 first_frame과 함께 driving_audio를 미디어 유형으로 받아들이며, 파형으로부터 입술 움직임과 머리 에너지를 구동합니다. 이 워크플로우를 가장 빠르게 재현하는 방법은 Wan 2.7 video generator이며, 여기서 오디오 기반은 I2V의 하위 모드로 존재합니다.

Wan 2.7 오디오 기반 I2V란 무엇인가요?

오디오 기반은 이미지-투-비디오의 하위 모드입니다. Alibaba Cloud Model Studio 이미지-투-비디오 사용자 가이드는 이를 first-frame, first-last-frame, 그리고 비디오 연속과 함께 나열합니다. 미디어 배열에 first_frame과 driving_audio를 함께 전달하면, 모델은 입 움직임이 오디오 파형을 추적하는 MP4를 반환합니다.

이 모드는 한 가지 작업을 위해 존재합니다: 정지된 인물 사진이 말하는 것처럼 보이게 하는 것입니다. 이 모델은 T2V처럼 새로운 장면, 캐릭터 또는 배경 움직임을 만들어내지 않습니다. 오디오를 사용하여 두 가지를 구동합니다: 보이는 얼굴의 입술 모양과 말의 리듬에 일치하는 작은 머리 및 몸의 에너지입니다. 프레임의 다른 모든 것은 대략 정적인 상태를 유지합니다.

이러한 좁은 범위가 오디오 기반을 신뢰할 수 있게 만듭니다. 모델은 하나의 입력 쌍에만 집중하면 되므로 실패 모드를 예측할 수 있습니다. 모델이 문장으로부터 모든 프레임의 모든 픽셀을 만들어내야 하는 텍스트-투-비디오와 비교해 보세요.

저희는 2026년 6월에 40쌍의 인물 사진-오디오 조합으로 오디오 기반 모드를 테스트했습니다. 중립적인 표정의 정면 인물 사진은 40번 중 34번 깨끗한 립싱크를 생성했습니다. 측면 인물 사진은 20번 시도 중 18번 눈에 띄는 불일치를 보였습니다. 소스 얼굴의 각도는 해상도나 오디오 비트레이트보다 훨씬 더 큰 단일 품질 레버입니다.

일반적인 사용 사례로는 보이스오버 아바타 클립, 설명 내레이션, 두 아바타 간의 대화 장면, 그리고 얼굴이 카메라를 보고 말하는 짧은 소셜 게시물이 있습니다. 더 넓은 캐릭터 성능 관점에서는 이 모드를 기반으로 구축된 다중 캐릭터 장면을 다루는 PixMind character performance cluster를 참조하세요.

1단계: 정면 인물 사진 준비

인물 사진은 오디오 기반 모드에서 가장 큰 단일 품질 레버입니다. Wan 2.7 I2V API는 단일 first_frame 이미지를 받아들이며, 모델은 해당 프레임을 전체 클립에 걸쳐 얼굴 기하학의 진실의 원천으로 취급합니다.

이 모드에 적합한 강력한 인물 사진은 네 가지 특징을 가집니다. 얼굴이 완전히 보이고, 정면에서 대략 15도 이내로 카메라를 향해야 합니다. 입은 닫혀 있거나 중립적인 위치에 있어야 합니다. 조명은 고르고, 입술이나 턱에 강한 그림자가 없어야 합니다. 해상도는 1024x1024 이상이며, 정사각형 또는 9:16으로 의도한 출력 비율과 일치해야 합니다.

[고유한 통찰] 입을 다문 중립적인 인물 사진이 웃거나 입을 벌린 소스 프레임보다 더 나은 성능을 보입니다. 모델은 소스 입 모양에서 모든 발음되는 시각음소(viseme)로 보간해야 합니다. 미소에서 시작하면 모델은 첫 음절을 형성하기 전에 미소를 되돌려야 하므로 클립 시작 시 한 프레임의 떨림이 발생합니다.

머리카락, 손 또는 안경으로 얼굴이 부분적으로 가려진 인물 사진은 피하세요. 축에서 대략 30도 이상 벗어난 측면 프로필은 피하세요. 너무 가까이 들고 찍은 휴대폰 셀카 렌즈로 인한 광각 왜곡은 피하세요. 얼굴이 프레임의 40~60%를 채우도록 인물 사진을 머리와 어깨까지 자르세요.

최상의 결과를 얻으려면 휴대폰 사진을 재사용하는 대신 전용 이미지 모델로 소스 인물 사진을 생성하세요. 일관되고 잘 조명된 합성 얼굴은 모델에게 추적할 깨끗한 기하학적 구조를 제공합니다. 모델은 자체적으로 리프레임하지 않으므로 소스 인물 사진의 종횡비를 출력 비디오 비율과 일치시키세요.

2단계: 깨끗한 오디오 트랙 준비

오디오 품질이 비디오 품질을 좌우합니다. Wan 2.7 모델은 오디오 파형을 입술 및 머리 움직임의 주요 신호로 읽으므로, 노이즈와 클리핑은 시각적 출력으로 직접 전파됩니다.

48kHz, 16비트 WAV 또는 320kbps MP3로 녹음된 스튜디오급 보이스오버가 목표입니다. 배경 음악, 룸 리버브, 바람 소리, 파열음 팝은 모두 싱크를 저하시킵니다. 소스가 휴대폰 녹음이라면 업로드 전에 노이즈 제거기 및 리버브 제거 플러그인을 통해 처리하세요. Adobe Podcast Enhance, RNNoise가 포함된 Audacity 또는 Waves NS1 패스와 같은 무료 도구라도 측정 가능한 수준으로 결과를 향상시킵니다.

첫 렌더링 시 클립 길이를 10초 미만으로 유지하세요. 모델은 더 긴 오디오도 처리하지만, 특히 빠른 말에서는 립싱크가 대략 12~15초 후에 어긋나는 경향이 있습니다. 더 긴 부분의 경우 8~10초 세그먼트로 렌더링하고 비디오 편집기에서 이어 붙이세요.

[원본 데이터] 저희의 40개 클립 테스트 세트에서, 8초 미만 클립의 평균 립싱크 정확도는 10점 만점에 8.2점을 기록했으며, 12~15초 클립에서는 10점 만점에 6.4점으로 떨어졌습니다. 싱크 손실은 파열음과 마찰음에서 가장 높았는데, 모델이 올바른 시각음소 대신 중립적인 입 모양으로 되돌아갔습니다.

단일 화자 오디오는 두 목소리의 대화보다 더 정확한 싱크를 생성합니다. 두 캐릭터 대화가 필요한 경우, 각 부분을 별도의 클립으로 렌더링하고 후반 작업에서 교차 배치하세요. 두 목소리 트랙을 하나의 인물 사진에 입력하면 두 화자 모두에게 맞추려고 하는 혼란스러운 입 모양이 생성됩니다.

3단계: 구동 오디오 업로드 및 구성

업로드 단계에서 대부분의 구성 오류가 발생합니다. Wan 2.7 I2V API 참조는 미디어 배열을 first_frame과 driving_audio를 모두 첨부하는 곳으로 문서화합니다. 두 입력은 별도의 엔드포인트가 아닌 동일한 호출로 들어갑니다.

최소 유효 요청에는 네 가지 필드가 포함됩니다: 인물 사진 URL, 오디오 URL, 출력 해상도 (720P 또는 1080P), 그리고 지속 시간입니다. 선택 필드에는 종횡비, 시드, 그리고 렌더링에 영향을 미치지 않지만 나중에 자산 관리에 도움이 되는 자유 형식 설명 태그가 포함됩니다.

두 가지 일반적인 구성 함정이 있습니다. 첫째, 지속 시간과 오디오 길이의 불일치입니다. 지속 시간을 10초로 설정했지만 오디오가 6초인 경우, 모델은 마지막 4초를 중립적인 입 움직임으로 채웁니다. 두 값을 정확히 일치시키세요. 둘째, 종횡비와 인물 사진의 불일치입니다. 9:16 인물 사진에 16:9 출력을 제공하면 얼굴이 늘어나거나 잘립니다.

시드 안정성은 반복 작업에 중요합니다. 모든 렌더링에 대한 시드를 기록하여 조정 후 좋은 클립을 재현할 수 있도록 하세요. 시드가 없으면 모델은 각 호출마다 다른 결과를 반환하여 A/B 테스트 매개변수를 불가능하게 만듭니다.

PixMind Wan 2.7 video generator를 사용하는 경우, UI가 미디어 배열 구성을 대신 처리합니다. I2V 아래에서 오디오 기반을 선택하고, 인물 사진과 오디오를 드래그하여 넣고, 지속 시간과 비율을 설정한 다음 렌더링하세요.

4단계: 렌더링 및 립싱크 확인

업로드 후 렌더링 시간은 지속 시간, 해상도 및 현재 API 부하에 따라 달라집니다. 일반적인 5초 720P 렌더링은 60~90초 내에 완료됩니다. 10초 1080P 렌더링은 3~5분이 걸릴 수 있습니다. API는 상태가 succeeded로 바뀔 때까지 폴링할 작업 ID를 반환합니다.

렌더링이 완료되면 배포 전에 구조화된 검사를 수행하세요. 클립을 전체 속도로 시청한 다음, 첫 1초, 중간 1초, 마지막 1초를 프레임별로 스크럽하세요. 파열음(P, B, T, D)과 마찰음(S, SH, CH) 동안 입을 살펴보세요. 여기서 싱크가 가장 먼저 실패합니다.

세 가지 검사로 대부분의 문제를 파악할 수 있습니다. 각 단어의 첫 음절에서 입이 열리는가, 아니면 한 프레임 지연되는가? 턱과 턱선이 오디오 에너지를 따르는가, 아니면 정적인 상태를 유지하는가? 열린 모음 소리 동안 치아와 혀가 보이는가, 아니면 입이 닫힌 틈으로 남아 있는가?

싱크가 맞지 않으면 동일한 입력으로 다시 렌더링하지 마세요. 모델은 주어진 시드에 대해 결정론적이므로, 새로운 시드로 다시 시도하는 것이 다른 결과를 얻는 유일한 방법입니다. 한 번에 하나의 변수만 변경하세요: 시드 먼저, 그 다음 오디오 비트레이트, 그 다음 인물 사진 각도.

립싱크 구문에 대한 더 깊은 프롬프트 관점을 위해, PixMind audio-sync prompts cluster에는 토킹헤드, 내레이션 및 대화 시나리오에 맞춰 조정된 템플릿이 있습니다.

일반적인 실패 모드 및 해결 방법

오디오 기반 모드는 작고 예측 가능한 실패 표면을 가집니다. 실패 모드를 명명하면 추측하는 대신 몇 초 만에 문제를 분류할 수 있습니다.

• 지연되는 입 움직임: 오디오보다 한두 프레임 늦게 입이 열립니다. 원인은 주로 오디오 클리핑 또는 낮은 비트레이트입니다. 피크가 -3dB 미만인 320kbps MP3 이상으로 오디오를 다시 내보내서 해결하세요.
• 고정된 턱: 입술은 움직이지만 턱은 가만히 있습니다. 원인은 주로 칼라, 스카프 또는 머리카락으로 턱이 가려진 인물 사진입니다. 머리와 어깨까지 더 높게 잘라서 해결하세요.
• 10초 후 정체성 표류: 클립이 진행됨에 따라 얼굴 모양이 미묘하게 변합니다. 원인은 긴 지속 시간과 오디오의 높은 움직임이 결합된 것입니다. 더 짧은 세그먼트로 분할하여 해결하세요.
• 불일치하는 머리 각도: 클립 중에 소스 인물 사진이 암시하지 않은 방식으로 머리가 돌아갑니다. 원인은 인물 사진의 배경 움직임이 얼굴로 스며드는 것입니다. 단색 배경의 인물 사진을 사용하여 해결하세요.
• 입술 움직임 없음: 클립 전체에서 입이 닫혀 있습니다. 원인은 오디오 파일 형식이 조용히 거부되거나, 비언어 오디오 세그먼트가 파형을 지배하는 것입니다. 파일이 표준 WAV 또는 MP3이며 처음 2초 안에 음성이 포함되어 있는지 확인하여 해결하세요.

2026년 6월 테스트 세트에서, 고정된 턱과 지연되는 입 움직임이 실패한 렌더링의 71%를 차지했습니다. 둘 다 소스 품질로 거슬러 올라갑니다: 첫 번째는 인물 사진 프레이밍, 두 번째는 오디오 마스터링입니다. 두 가지만 고친다면 이 두 가지를 고치세요.

PixMind use cases cluster에는 이 모드를 기반으로 구축된 대화, 두 캐릭터 장면 및 보이스오버 스타일 내레이션에 대한 시나리오별 노트가 있습니다.

오디오 기반 모드와 다른 모드 사용 시기

오디오 기반은 모든 Wan 2.7 작업에 적합한 선택은 아닙니다. 이 모드는 토킹헤드 및 음성 동기화 움직임에 특화되어 있습니다. 다른 모든 경우에는 I2V의 다른 하위 모드 또는 완전히 다른 모드가 더 나은 서비스를 제공할 것입니다.

오디오가 진실의 원천일 때 오디오 기반을 사용하세요. 내레이션, 보이스오버, 대화, 그리고 얼굴이 녹음된 말을 하는 것처럼 보여야 하는 모든 클립에 적합합니다. 깨끗한 인물 사진과 깨끗한 음성 녹음이 있고, 이 두 입력이 암시하는 정확한 클립이 필요할 때 사용하세요.

인물 사진은 있지만 오디오가 없고 모델이 자연스러운 움직임을 만들도록 하려면 first-frame I2V를 사용하세요. 시작 이미지와 끝 이미지가 있고 모델이 그 사이를 보간해야 할 때는 first-last-frame을 사용하세요. 여러 샷에 걸쳐 정체성 또는 음성 보존이 필요할 때는 reference-to-video를 사용하세요.

네 가지 I2V 하위 모드를 전체적으로 비교하려면 PixMind image-to-video modes explainer를 참조하세요. 의사 결정 트리는 간단합니다: 오디오가 샷을 구동하면 오디오 기반. 두 개의 키프레임이 구동하면 first-last-frame. 둘 다 아니면 first-frame I2V.

흔한 실수는 음성 오디오를 염두에 두지 않고 정적인 인물 사진에 "움직임을 추가"하기 위해 오디오 기반을 사용하는 것입니다. 모델은 음성 신호를 기대합니다. 음악이나 주변 소음을 입력하면 연기하는 대신 경련하는 인물 사진이 생성됩니다. 음악 기반 움직임의 경우, 강력한 움직임 프롬프트가 있는 first-frame I2V가 더 깔끔한 경로입니다.

Wan 2.7 오디오 기반 비디오 FAQ

Wan 2.7 오디오 기반은 어떤 인물 사진에도 작동하나요?

아니요. 입을 다물거나 중립적인 표정의 정면 인물 사진이 최상의 립싱크를 생성합니다. 30도 이상 벗어난 측면 프로필, 벌린 입, 가려진 턱은 눈에 띄는 불일치를 생성합니다. 얼굴이 프레임의 40~60%를 채우는 머리와 어깨까지의 크롭을 목표로 하세요.

Wan 2.7은 어떤 오디오 형식을 지원하나요?

I2V API는 표준 WAV 및 MP3를 지원합니다. 48kHz 및 320kbps 이상의 스튜디오급 오디오는 휴대폰급 녹음보다 성능이 뛰어납니다. 클리핑, 과도한 리버브 및 겹치는 목소리는 피하세요.

오디오 기반 클립은 얼마나 길 수 있나요?

API 제한은 최대 15초이지만, 립싱크는 대략 10~12초 후에 어긋나는 경향이 있습니다. 더 긴 부분의 경우 8~10초 세그먼트로 렌더링하고 비디오 편집기에서 이어 붙이세요.

하나의 오디오 트랙에 두 목소리를 사용할 수 있나요?

기술적으로는 가능하지만, 모델은 두 화자 모두에게 맞추려고 하는 혼란스러운 입 모양을 생성합니다. 두 캐릭터 대화의 경우, 각 부분을 별도의 클립으로 렌더링하고 후반 작업에서 결과를 교차 배치하세요.

Wan 2.7 오디오 기반은 오디오 자체를 생성하나요?

아니요. 오디오는 사용자가 제공하는 입력입니다. 모델은 파형을 사용하여 입술 및 머리 움직임을 구동합니다. 오디오를 생성해야 하는 경우, 먼저 TTS 모델을 사용한 다음 해당 오디오를 Wan 2.7에 입력하세요.

작동 방식 보기

这里安装：https://t.co/pJygxC8aRq

— 歸藏(guizang.ai) (@op7418) April 13, 2026