AI에게 영상 편집을 맡겨봤습니다

AI에게 영상 편집을 맡겨봤습니다

ffmpeg-skill로 영상 분석부터 무손실 병합, 자막까지

요즘 AI에게 코드를 작성시키는 것은 익숙해졌습니다.

그런데 이제는 영상 편집도 비슷한 방식으로 할 수 있습니다.

예를 들어 이런 식입니다.

이 영상과 오디오를 합쳐주세요.
화질은 그대로 유지해주세요.
음성을 받아 적어서 자막도 넣어주세요.
마지막 결과가 정상인지 확인해주세요.

예전이라면 FFmpeg 명령어를 직접 찾아보고 옵션을 하나씩 입력해야 했습니다.

그런데 AI 에이전트에 영상 편집 스킬을 넣어주면 이런 작업을 자연어로 요청할 수 있습니다.

제가 이번에 사용해 본 것이 바로 GitHub에 공개된 ffmpeg-skill입니다.

GitHub
kajisho5/ffmpeg-skill

---

ffmpeg-skill은 무엇인가?

쉽게 말하면

Claude Code, Codex, Cursor 같은 AI에게 FFmpeg 영상 편집 방법을 알려주는 스킬

입니다.

FFmpeg를 대신하는 프로그램이라기보다는,

AI가 FFmpeg를 제대로 사용할 수 있도록 작업 순서와 도구를 정리해 놓은 프로젝트에 가깝습니다.

영상 파일을 주면 무작정 편집부터 하지 않습니다.

기본적인 작업 흐름은 다음과 같습니다.

원본 분석 → 가능한 경우 무손실 처리 → 편집 → 결과 검사

이 순서가 꽤 중요합니다.

---

AI가 먼저 영상을 분석합니다

영상 편집을 요청하면 가장 먼저 probe.py로 원본 파일을 확인합니다.

확인하는 정보도 꽤 많습니다.

• 영상 길이
• 해상도
• FPS
• 영상 코덱
• 오디오 코덱
• 오디오 채널
• VFR 여부
• HDR 여부
• 색 공간
• 회전 정보

예를 들어 AI가 파일 이름만 보고

아마 1080p 영상입니다.

라고 추측하는 것이 아닙니다.

실제 파일을 검사해서

1920×1080, 23.976fps, H.264, AAC Stereo

처럼 확인한 다음 작업을 시작합니다.

AI 영상 편집에서 꽤 중요한 부분이라고 생각합니다.

---

가능한 작업은 무손실로 처리합니다

ffmpeg-skill에서 특히 마음에 들었던 부분입니다.

영상 편집이라고 해서 무조건 다시 인코딩하지 않습니다.

재인코딩할 필요가 없는 경우에는 기존 영상과 오디오 스트림을 그대로 사용합니다.

예를 들어

• 단순 영상 자르기
• 일부 구간 추출
• 영상·오디오 스트림 병합
• 일부 오디오 작업

등에서는 가능한 경우 Stream Copy를 사용합니다.

쉽게 말하면

다시 압축하지 않아도 되는 영상은 다시 압축하지 않습니다.

처리 속도도 빠르고 불필요한 화질 손실도 줄일 수 있습니다.

---

어떤 영상 편집이 가능할까?

기능이 생각보다 많습니다.

영상 자르기와 합치기

원하는 구간만 남길 수 있습니다.

예를 들어

45초부터 3분 10초까지 남겨주세요.

또는

0~1분과 2~3분 부분만 하나로 합쳐주세요.

같은 요청이 가능합니다.

여러 영상 사이에 Crossfade, Wipe, Fade 같은 전환 효과도 넣을 수 있습니다.

---

세로 영상도 자동으로 만들 수 있습니다

유튜브 영상을 Shorts나 Reels로 다시 만들 때 화면 비율을 바꿔야 합니다.

ffmpeg-skill에서는

• 16:9
• 9:16
• 1:1
• 4:5

등의 비율을 처리할 수 있습니다.

그래서

이 영상을 60초짜리 9:16 릴스로 만들어주세요.

라고 요청할 수 있습니다.

AI가 영상 길이와 화면 비율을 확인하고 Crop이나 Pad 방식으로 처리합니다.

---

자동 자막도 가능합니다

영상 편집에서 상당히 유용한 기능입니다.

기존 SRT나 ASS 파일을 영상에 넣을 수도 있고,

로컬에 Whisper가 설치되어 있다면 영상의 음성을 자동으로 받아 적을 수도 있습니다.

지원되는 방식에는

• whisper.cpp
• faster-whisper
• openai-whisper

등이 있습니다.

그래서

영상 음성을 받아 적어서 자막을 만들어주세요.

같은 요청이 가능합니다.

만들어진 자막에는

• 폰트
• 크기
• 색상
• 위치
• 외곽선

등을 지정할 수 있습니다.

Pop, Fade, Slide, Karaoke 스타일 같은 자막 효과도 지원합니다.

---

무음 부분도 자동으로 잘라냅니다

강의나 인터뷰 영상을 편집하다 보면 말하지 않는 구간을 하나씩 잘라내는 작업이 상당히 번거롭습니다.

ffmpeg-skill에는 이런 무음 구간을 찾아 제거하는 기능도 있습니다.

예를 들어

말하지 않는 부분을 제거해서 영상 템포를 빠르게 만들어주세요.

라고 요청할 수 있습니다.

일명 Jump Cut 스타일 영상을 자동으로 만드는 데 활용할 수 있습니다.

---

긴 영상에서 하이라이트도 찾습니다

한 시간짜리 영상을 전부 보면서 중요한 장면을 찾는 것도 시간이 많이 걸립니다.

이 스킬은 장면 전환과 오디오 피크 등을 분석해서 하이라이트 후보를 찾는 기능도 가지고 있습니다.

예를 들어

이 영상에서 중요한 부분을 찾아 60초 하이라이트 영상을 만들어주세요.

같은 작업에 활용할 수 있습니다.

---

오디오 편집도 상당히 강력합니다

영상뿐 아니라 음성도 처리할 수 있습니다.

• 잡음 제거
• 음성 정리
• Compressor
• De-esser
• 배경음악 삽입
• 자동 Ducking
• Fade In / Out
• 5.1채널 → Stereo
• 외부 녹음 음성으로 교체

같은 작업이 가능합니다.

영상마다 음량이 다른 경우에는 LUFS 기준으로 음량을 맞출 수도 있습니다.

예를 들어

전체 음량을 -14 LUFS로 맞춰주세요.

같은 요청도 가능합니다.

---

카메라와 별도 녹음 파일의 싱크도 맞춥니다

카메라로 영상을 촬영하고 별도의 마이크로 음성을 녹음했다면 두 파일의 시간이 조금씩 다를 수 있습니다.

ffmpeg-skill은 오디오를 분석해서 두 파일의 시간 차이를 찾아낼 수 있습니다.

긴 영상에서 시간이 지나면서 조금씩 음성이 밀리는 Clock Drift도 보정할 수 있습니다.

여러 대의 카메라를 사용하는 Multicam 작업도 지원합니다.

---

아이폰 HDR 영상도 처리할 수 있습니다

아이폰으로 HDR이나 Dolby Vision 영상을 촬영한 뒤 PC에서 변환하면 색이 이상하게 보일 때가 있습니다.

이런 영상도 처리할 수 있습니다.

• HDR10 → SDR
• HLG → SDR
• Dolby Vision → SDR
• Dolby Vision Layer 제거
• LUT 적용
• Log 영상 감지
• 색상 정보 수정

등을 지원합니다.

---

로고와 제목도 넣을 수 있습니다

영상에

• 로고
• 워터마크
• 제목
• 텍스트
• Lower Third
• Progress Bar
• Countdown

등을 추가할 수 있습니다.

한 번 사용할 브랜드 스타일을 brand.json으로 만들어 두면 여러 영상에 같은 폰트와 색상, 로고 스타일을 반복해서 적용할 수도 있습니다.

---

YouTube, Reels, TikTok용 출력

편집이 끝나면 플랫폼에 맞게 다시 출력할 수 있습니다.

• YouTube
• YouTube 4K
• Shorts
• Instagram Reels
• TikTok
• X
• ProRes
• H.265
• GIF

등의 출력 Preset이 준비되어 있습니다.

여기서 끝이 아닙니다.

완성된 영상이 실제 플랫폼 조건에 맞는지도 검사합니다.

해상도, 비율, 코덱, FPS, 색상 정보, Loudness 등을 확인해서 PASS / FAIL 형태로 알려줍니다.

---

AI가 영상 화면까지 확인합니다

이 기능도 흥미로웠습니다.

영상 파일 정보만 정상이라고 해서 편집이 제대로 됐다고 할 수는 없습니다.

자막이 얼굴을 가리고 있을 수도 있고,

세로 영상으로 바꾸면서 사람이 화면 밖으로 잘려나갈 수도 있습니다.

그래서 look.py를 이용해 영상의 주요 장면을 이미지로 뽑아서 확인합니다.

AI가

• 자막 위치
• Crop 상태
• 로고 위치
• 화면 색상
• 전환 효과

등을 실제 화면 기준으로 확인할 수 있습니다.

---

실제로 사용해 봤습니다

이번에는 OpenAI 페이지에 들어 있는 Vimeo 영상을 처리해 봤습니다.

웹페이지에서는 그냥 하나의 1080p 영상처럼 재생됩니다.

그런데 실제 스트림을 확인해 보니 영상과 음성이 따로 제공되고 있었습니다.

구조는 대략 이렇습니다.

1080p H.264 영상
+
AAC 오디오

브라우저가 두 스트림을 동시에 재생하고 있기 때문에 사용자에게는 하나의 영상처럼 보이는 것입니다.

---

영상과 음성을 하나로 합쳤습니다

먼저 확보한 영상 스트림과 오디오 스트림을 하나의 MP4로 만들었습니다.

여기서 중요한 것은 다시 인코딩하지 않았다는 점입니다.

구조는 간단합니다.

H.264 Video ─┐
             ├── MP4
AAC Audio ───┘

FFmpeg에서는 이런 작업을 Remux라고 합니다.

영상과 음성을 새로 압축하는 것이 아니라 MP4라는 하나의 컨테이너 안에 다시 넣어주는 방식입니다.

그래서 원본 영상과 음성 품질을 그대로 유지할 수 있습니다.

실제 결과는

1920×1080
23.976fps
H.264
AAC Stereo

형태의 MP4가 만들어졌습니다.

---

이 과정이 ffmpeg-skill과 잘 맞았습니다

바로 이 부분이 ffmpeg-skill의 작업 원칙과 정확하게 맞았습니다.

스킬에서는 가능하면 재인코딩을 하지 않고 기존 스트림을 그대로 사용하는 것을 우선합니다.

즉

원본 확인
↓
Video / Audio 확인
↓
재인코딩 필요 여부 판단
↓
Stream Copy
↓
MP4 생성
↓
결과 확인

순서입니다.

영상 편집을 AI에게 시키더라도 무조건 다시 인코딩하는 것이 아니라 상황에 맞는 방법을 선택한다는 점이 좋았습니다.

---

다음은 한글 자막입니다

영상과 음성을 하나로 합친 다음에는 음성을 받아 적을 수 있습니다.

로컬 Whisper를 이용하면

영상
↓
음성 인식
↓
시간 정보 생성
↓
SRT 자막

과정을 자동화할 수 있습니다.

한국어 영상이라면 바로 한글 자막을 만들 수 있습니다.

영어 영상에 한글 번역 자막을 넣으려면 한 단계가 더 필요합니다.

영어 영상
↓
Whisper 음성 인식
↓
영어 SRT
↓
AI 번역
↓
한국어 SRT
↓
ffmpeg-skill로 자막 삽입

이 방식으로 사용할 수 있습니다.

여기서 영어→한국어 번역 자체는 ffmpeg-skill의 핵심 기능이 아닙니다.

ffmpeg-skill은 음성 인식과 자막 생성·삽입을 담당하고, 번역은 별도의 AI를 함께 사용하는 방식입니다.

---

자막을 넣을 때는 재인코딩이 필요합니다

영상과 오디오를 합칠 때는 Stream Copy가 가능했습니다.

하지만 자막을 영상 화면에 직접 넣는 것은 다릅니다.

글씨를 영상 픽셀 위에 그려야 하기 때문에 이 단계에서는 영상 재인코딩이 필요합니다.

그래서 작업 순서를 잘 잡는 것이 중요합니다.

제가 사용한 흐름을 정리하면 다음과 같습니다.

Vimeo 영상 확인
↓
1080p 영상 스트림 확보
↓
AAC 오디오 스트림 확보
↓
영상 + 오디오 무손실 병합
↓
Whisper 음성 인식
↓
자막 생성
↓
필요하면 한국어 번역
↓
최종 자막 렌더링
↓
해상도 / FPS / 코덱 확인
↓
화면 확인

이렇게 하면 불필요한 재인코딩 횟수를 줄일 수 있습니다.

---

한글 자막에서는 폰트도 확인해야 합니다

한글 자막을 영상에 넣을 때 폰트가 설치되어 있지 않으면 글자가 네모 상자로 표시될 수 있습니다.

그래서

• Noto Sans KR
• Noto Sans CJK KR
• Pretendard
• 맑은 고딕

같은 한글 지원 폰트가 있는지 확인하는 것이 좋습니다.

ffmpeg-skill도 CJK 문자를 사용할 때 실제 폰트가 설치되어 있는지 확인하는 절차를 권장합니다.

---

마지막에는 다시 검사합니다

AI 영상 편집에서 개인적으로 가장 마음에 드는 부분입니다.

파일이 만들어졌다고 바로 성공으로 판단하지 않습니다.

마지막으로 다시 분석합니다.

영상 길이
해상도
FPS
Video Codec
Audio Codec
Audio Channel

을 확인합니다.

그리고 자막이나 Crop처럼 화면을 변경했다면 실제 프레임까지 확인합니다.

즉

만들었다 → 끝

이 아니라

만들었다 → 다시 확인했다 → 끝

입니다.

GPT-6_Astra_KO_captioned.mp4

14.24MB

 

---

ffmpeg-skill이 Vimeo 다운로드 도구는 아닙니다

여기서 한 가지 구분할 부분도 있습니다.

ffmpeg-skill 자체가 Vimeo에서 실제 영상 URL을 찾아주는 다운로드 프로그램은 아닙니다.

Vimeo나 다른 웹사이트에서 미디어 스트림을 찾거나 확보하는 과정은 별도의 영역입니다.

저작권과 서비스 이용 조건도 확인해야 합니다.

ffmpeg-skill이 강력한 부분은 영상 파일이나 스트림을 확보한 이후입니다.

미디어 확보
↓
ffmpeg-skill
↓
분석
↓
자르기
↓
합치기
↓
자막
↓
오디오
↓
색보정
↓
비율 변환
↓
플랫폼 출력
↓
검증

이 전체 작업을 AI에게 맡길 수 있습니다.

---

영상 편집도 이제 자연어로

예전에는 FFmpeg를 사용하려면 명령어부터 검색했습니다.

지금은 조금 다릅니다.

AI에게

이 영상의 앞부분 10초를 잘라주세요.

9:16으로 바꾸고 Shorts용으로 만들어주세요.

말하지 않는 부분을 제거하고 자막을 넣어주세요.

카메라 영상과 마이크 음성의 싱크를 맞춰주세요.

영상과 오디오를 화질 손실 없이 하나로 합쳐주세요.

처럼 요청할 수 있습니다.

AI가 원본을 확인하고 필요한 FFmpeg 작업을 선택해서 실행합니다.

---

AI 영상 편집의 핵심은 ‘명령어 생성’이 아니었습니다

처음에는 ffmpeg-skill을 단순히

FFmpeg 명령어를 대신 만들어주는 도구

정도로 생각했습니다.

직접 사용해 보니 조금 달랐습니다.

더 중요한 것은 AI에게

영상 편집의 작업 순서와 판단 기준을 알려준다는 것

이었습니다.

먼저 영상을 분석하고,

가능하면 화질 손실 없이 처리하고,

필요한 경우에만 재인코딩하고,

편집이 끝난 뒤 다시 파일과 화면을 확인합니다.

이런 과정까지 AI가 이해하고 움직입니다.

코딩에서 바이브 코딩이 등장한 것처럼 영상 편집에서도 비슷한 변화가 시작되고 있는 것 같습니다.

복잡한 FFmpeg 명령어를 모두 외우지 않아도

“무엇을 만들고 싶은지” 설명하면 AI가 편집 과정을 구성하는 방식

입니다.

ffmpeg-skill은 그 가능성을 꽤 잘 보여주는 프로젝트였습니다.