AI는 영상 속 얼굴을 어떻게 찾고 따라갈까? 얼굴 탐지와 추적 쉽게 이해하기

비디오마스커에 영상을 열면 몇 분 만에 영상 속 얼굴마다 마스크가 씌워지고 사람이 움직여도 마스크가 얼굴을 따라다니는데요. 버튼 하나로 끝나는 것처럼 보이지만 그 안에서는 크게 두 가지 작업이 이루어집니다. 바로 얼굴을 찾는 탐지와 찾은 얼굴을 따라가는 추적입니다.

이번 글에서는 AI가 영상 속 얼굴을 어떻게 찾고 따라가는지 어려운 용어 없이 정리해봤습니다.


1. 영상은 사진 수천 장을 이어 붙인 것

AI가 영상을 어떻게 보는지 이해하려면 먼저 영상이 무엇으로 이루어져 있는지 알아야하는데요. 영상은 사실 사진 여러 장을 빠르게 넘겨 보여 주는 것입니다. 이 사진 한 장 한 장을 '프레임'이라고 합니다.

일반적인 영상은 1초에 30장 정도의 프레임으로 이루어져 있습니다. 1분짜리 영상이라면 약 1,800장, 10분짜리라면 18,000장의 사진이 들어 있는 셈이죠. 사람이 이 많은 장면에 모자이크를 하나씩 붙이기 어려운 이유도 여기에 있습니다.

2. 1단계: 사진 한 장에서 얼굴 찾기 (탐지)

첫 번째 단계는 프레임 한 장 한 장에서 얼굴이 어디에 있는지 찾는 '얼굴 탐지'입니다. AI는 미리 수많은 얼굴 이미지를 학습하면서 눈, 코, 입의 배치나 얼굴 윤곽처럼 얼굴에서 공통으로 나타나는 특징을 익힙니다. 그래서 처음 보는 사람의 얼굴이라도 '여기에 얼굴이 있다'는 걸 알아볼 수 있는데요. 얼굴을 찾으면 그 위치를 네모 상자로 표시하고 이것이 얼굴일 가능성이 얼마나 되는지도 함께 계산합니다.

여기서 한 가지 짚고 넘어갈 부분이 있습니다. 얼굴 탐지는 화면 속 얼굴의 '위치'를 찾는 기술이지 그 사람이 '누구인지' 알아내는 기술이 아닙니다. 신원을 확인하는 얼굴 인식과는 다른 기술이라고 보면 됩니다.

3. 2단계: 찾은 얼굴을 이어서 따라가기 (추적)

탐지만으로는 아직 부족합니다. 프레임마다 얼굴을 찾았더라도 AI 입장에서는 이 프레임의 얼굴과 다음 프레임의 얼굴이 같은 사람인지 아직 모르기 때문인데요.

그래서 두 번째 단계인 '추적'이 필요합니다. 추적은 앞뒤 프레임에서 찾은 얼굴들을 서로 연결해 같은 사람의 얼굴에는 같은 번호를 붙이는 작업입니다. 일반적으로 얼굴의 위치와 크기, 움직이는 방향 같은 정보를 비교해서 '아까 왼쪽에 있던 얼굴이 조금 오른쪽으로 움직였구나'처럼 판단합니다.

이렇게 연결하고 나면 영상 속 얼굴들이 '1번 사람', '2번 사람'처럼 하나의 흐름으로 묶이게 됩니다.

4. 왜 탐지와 추적이 둘 다 필요할까?

추적이 더해지면 모자이크 결과가 훨씬 자연스러워집니다.

  • 마스크가 끊기지 않습니다. 고개를 돌리거나 잠깐 손으로 얼굴을 가리는 순간에도 앞뒤 흐름을 보고 마스크를 이어 갈 수 있습니다.
  • 여러 사람을 구분할 수 있습니다. 화면에 여러 명이 동시에 나와도 각자의 얼굴을 따로 따라가며 처리할 수 있습니다.
  • 특정 얼굴만 골라서 처리할 수 있습니다. 사람마다 번호가 붙어 있기 때문에 '1번 사람은 그대로 두고 나머지만 가리기' 같은 작업이 가능해집니다.

인터뷰 대상자는 남기고 배경 인물만 가리는 기능도 결국 이 추적 덕분에 가능한 셈입니다.

5. 비디오마스커에서는 이렇게 처리됩니다

비디오마스커는 자체 개발한 얼굴 탐지 모델로 영상 속 얼굴을 찾고 여러 사람의 얼굴을 동시에 추적하며 마스크를 씌웁니다. 이 모든 과정은 서버가 아닌 내 브라우저 안에서 이루어지는데요. 분석하는 동안 타임라인에서 미리 볼 수 있는 장면도 함께 만들어 두기 때문에 분석이 끝나면 바로 결과를 확인할 수 있습니다.

AI가 만든 마스크 위에 사람이 직접 마스크를 더할 수도 있습니다. 원하는 장면 몇 곳에만 마스크 위치를 지정하면 그 사이 구간은 자연스럽게 이어지도록 채워지고 이렇게 직접 추가한 마스크와 AI가 만든 마스크가 하나로 합쳐져 최종 영상에 반영됩니다.


비디오마스커로 직접 확인해 보기

얼굴을 찾고 따라가는 과정은 직접 영상을 열어 보면 더 쉽게 이해할 수 있는데요. 비디오마스커에서 영상을 열면 AI가 찾은 얼굴과 마스크가 움직임을 따라가는 모습을 타임라인에서 바로 확인할 수 있습니다.

비디오마스커 시작하기