생성형 AI 영상 제작의 기술과 전략 (1)

생성형 AI(generative AI)가 영상 시장의 장벽을 허물고 제작 패러다임을 바꾸고 있다. 이번 호부터 연재를 통해 기술적 원리와 인문학적 통찰이 만나는 AI 프로덕션의 전 과정을 살펴보고자 한다.

이번 호에서는 전통적인 제작 방식이 해체되고 AI 기반 워크플로가 떠오르는 흐름을 짚어보고, 영상 제작 도구의 속도를 높일 수 있는 제작자의 기획 의도와 언어화 역량에 대해 살펴본다. 또한, 텍스트와 이미지 중심의 실제 사례를 통해 AI와 협업하며 새로운 가치를 만드는 창의적인 방법론을 제시한다.

■ 연재순서
제1회 AI 버추얼 프로덕션 워크플로
제2회 AI 영상 제작을 위한 모델 비교 분석
제3회 AI 기반 크리에이티브 워크플로 혁신
제4회 텍스트−투−비디오 프롬프트 엔지니어링
제5회 AI 특수효과 및 후반작업 마스터하기
제6회 AI 기반 몰입형 사운드 디자인
제7회 버추얼 프로덕션과 AI의 융합
제8회 디지털 휴먼과 AI 아바타 제작 실전
제9회 이미지−투−비디오와 3D 오브젝트 애니메이션
제10회 소셜 미디어 최적화 AI 영상 제작 전략
제11회 AI 기반 브랜드·제품 영상 제작
제12회 AI 영상 제작의 미래와 크리에이터 생존 전략

■ 최석영
감성놀이터 대표이자 AI 테크니컬라이터이다. 서울미디어대학원대학교 특임교수, 국제고양이AI필름페스티벌 총감독을 맡고 있으며 ‘AI 시대의 문화예술 읽기’의 공동저자이다.

2026년, 우리는 기존 영상 시장이 무너지는 소리를 듣고 있다. 조금 강하게 들릴 수도 있지만, 그것이 이미 현실로 나타나고 있다. CF에서 촬영 없이 생성형 AI로 제작하는 방식이 도입되어 보편화되고, 공포영화에서 VFX 대신 AI를 활용한 작업으로 대체되고 있는 것이 지금의 현실이다.

바이트댄스가 올해 2월 공개한 시댄스 2.0(Seedance 2.0)은 텍스트, 이미지, 오디오, 비디오를 동시에 입력받아 네이티브 오디오가 실시간 동기화된 시네마틱 영상을 단일 파이프라인에서 만들어낸다. 1080p(1920×1080) 해상도를 지원하면서 전문적인 풀 HD 영상을 만들 수 있게 되었다.

넷플릭스는 4월 VOID(Video Object and Interaction Deletion)를 공개했다. 달리던 두 대의 차가 충돌하는 장면에서 한 대를 지우면, 나머지 차는 충돌 없이 그냥 지나간다. 객체만 삭제하는 것이 아니다. 그 객체가 세계와 맺고 있던 물리적 관계까지 반사실적으로 재구성한다. OTT 사업자가 포스트 프로덕션과 VFX를 내부에서 직접 소화하기 시작했다는 뜻이다. 밖에서 주문하던 일을 이제 스스로 한다.

“깊은 생각은 AI와 협업으로 새로운 가치를 만든다.(Deep thinking creates new value through collaboration with AI.)”
— 작가 수요일

그림 1. 시댄스 2.0으로 제작한 AI 플랫폼 힉스필드(Higgsfield)의 오리지널 영상 ‘제퍼(ZEPHYR)’. 상업적 AI 영상 제작의 퀄리티를 확인할 수 있다.

시장 가격도 이미 흔들리고 있다. 촬영과 전문적 영상 제작 능력을 기반으로 매겼던 영상 제작 비용이, 고가의 장비와 스튜디오 없이도 가능한 수준으로 내려왔다. 영상 시장은 장벽이 낮아지는 것이 아니라 장벽이 사라지고 있다. 그래서 지금 필요한 것은 툴의 선택이 아니다. 기업이든 개인이든 워크플로와 전략, 이 두 가지를 지금 처음부터 다시 설계해야 하는 시점이다.

기획−촬영−편집−VFX−납품이라는 전통적인 영상 제작의 순서는 해체되고 있다. 그 자리를 AI 기반의 단순화된 흐름이 빠르게 채우고 있다. 어도비조차 AI 도입을 돌파구로 삼았지만, 어도비는 레거시 중심 구조에서 단번에 벗어나기 쉽지 않다. 반면 AI 플랫폼 진영은 이미지, 영상, 사운드, 3D를 한 번에 다루는 멀티모달 모델로 이미 새 판을 짰다.

그림 2. 넷플릭스 콘텐츠 제작 과정에서의 생성형 AI 사용 지침

AI 영상 제작의 새로운 시작

필자가 처음 영상을 만들었을 때를 기억한다. 1997년 초, 볼렉스 영화용 카메라로 필름을 촬영하고 충무로 할리우드현상소에서 현상하던 시절이다. 그 시절, 영상을 만든다는 것은 진입 비용을 치렀다는 의미이기도 했다. 카메라, 조명, 편집 장비, 그것들을 다루는 기술. 무엇보다 시간. 이런 조건을 갖추지 못한 사람은 만드는 쪽이 아니라 보는 쪽에 있었다. 누가 디렉터가 될 수 있는가는, 사실 누가 그 장벽을 넘을 수 있는가의 다른 말이었다.

그 장벽이 지금 허물어지고 있다.

텍스트 한 줄로 영상이 나오고, AI가 편집 리듬을 제안하고, 목소리를 복제한 내레이션이 1분 안에 붙는다. 예전엔 장비 한 대 빌리는 데에만 며칠 치 일당이 나갔다. 지금은 노트북 하나로 그 작업을 대신한다. 그런데 이상하게도, 도구가 가까워질수록 더 자주 마주치는 질문이 있다. 깊이 생각한다는 것이 무엇인가.

필자는 공연과 연극 현장에서 뉴미디어 감독으로 일해 왔고, 현재 홍익대학교 AI·실감미디어콘텐츠학과 박사과정에서 AI를 연구하고 있다. 국제고양이AI필름페스티벌 총감독으로서 AI 콘텐츠에 대한 고민을 이어오고 있다. 그 과정에서 점점 선명해진 것이 있다. AI는 빠른 도구일 뿐만 아니라, 깊이 생각한 것을 증폭시키는 협업자라는 사실이다. 결국 AI가 만들어내는 것은, 내가 이미 생각해 둔 것의 크기를 넘지 않는다. 그것이 이 도구의 한계이기도 하고, 가능성이기도 하다.

이번 연재는 AI 영상 제작의 전 과정을 따라갈 예정이다. 각 단계의 기술 원리를 설명하되, 그 기술이 깊은 생각과 만날 때 어떤 새로운 가치가 가능해지는지를 함께 기록할 것이다. 영상을 이미 만들고 있는 사람에게도, 아직 시작하지 않은 사람에게도 이 글을 전하고 싶다. 시작은 도구에 있지 않다. 왜 만드는가라는 질문에 있다.

■ 자세한 기사 내용은 PDF로 제공됩니다.