Mac에서 로컬로 영상을 4K 업스케일하기

Mac에서 영상을 4K로 업스케일하는 방법은 두 가지입니다. 고전적인 스케일링 필터로 크기를 바꾸거나(빠르고, 정직하고, 약간 부드러움), 빠진 디테일을 예측하는 머신러닝 모델에 통과시키는 것입니다(더 선명하고, 더 느리고, 원래 없던 것을 지어낼 수도 있음). 둘 다 Apple silicon에서 로컬로 실행할 수 있으므로 영상이 Mac 밖으로 나갈 필요가 없습니다. 실제 방법은 어떤 도구든 같습니다. 먼저 소스를 정리하고, 짧은 구간을 두세 가지 설정으로 테스트하고, 100% 크기로 원본과 비교한 다음에야 클립 전체를 렌더링합니다.

이 가이드는 업스케일이 할 수 있는 것과 할 수 없는 것, 방법을 고르는 법, 어떤 앱에서나 통하는 테스트 루틴, 그리고 그 루틴을 cinemaOS에서 실행하는 법을 다룹니다.

업스케일이 실제로 하는 일

1080p 프레임에는 약 200만 개의 픽셀이 있습니다. UHD 4K 프레임에는 약 800만 개가 있습니다. 업스케일은 나머지 600만 개를 채우는 일이며, 크게 두 가지 방법이 있습니다.

보간. 바이큐빅이나 Lanczos 같은 고전적인 필터는 각 새 픽셀을 주변 픽셀로부터 계산합니다. 새로 지어내는 것이 없으므로 결과는 충실하지만 부드럽습니다. 가장자리는 제자리에 있고, 미세한 질감은 나타나지 않습니다. 모든 편집 프로그램과 대부분의 변환 도구가 이 기능을 제공합니다.

학습 기반 업스케일. 저해상도와 고해상도 이미지 쌍으로 학습한 신경망 모델이 빠진 디테일이 아마 어떻게 생겼을지를 예측합니다. 잘 되면 가장자리가 또렷해지고, 머리카락과 천에 질감이 생기고, 압축 블록이 사라집니다. 잘못되면 얼굴이 밀랍처럼 변하고, 글자가 의미 없는 모양으로 다시 쓰이고, 그레인이 꿈틀거리는 패턴이 됩니다.

핵심 단어는 아마입니다. 모델은 카메라가 기록하지 않은 정보를 되살릴 수 없습니다. 그럴듯한 추측을 만들어 낼 뿐입니다. 거리의 와이드 숏이라면 그럴듯한 추측으로 대개 충분합니다. 아카이브 인터뷰 속 얼굴이나 문서의 읽을 수 있는 글자라면, 그럴듯한 추측이 관객이 알아챌 만큼 틀릴 수 있습니다.

업스케일이 도움이 될 때

• 4K 타임라인의 HD 소스. 4K A캠 옆의 1080p B캠이 가장 흔한 경우입니다. 좋은 업스케일은 컷 전환을 덜 눈에 띄게 합니다.
• 납품 요구 사항. 일부 소스가 HD여도 UHD 마스터를 요구하는 플랫폼과 클라이언트가 있습니다. 업스케일은 소스가 4K로 촬영된 척하지 않으면서 사양을 맞추는 정직한 방법입니다.
• 아카이브와 오래된 디지털 영상. SD 테이프, 초기 HD, 심하게 압축된 웹 영상은 특히 디인터레이스, 노이즈 제거, 압축 노이즈 정리와 함께 쓰면 나아질 수 있습니다.
• 크롭. 4K 숏을 잘라 리프레이밍하면 사실상 더 낮은 해상도의 숏이 됩니다. 잘라낸 부분을 다시 풀 사이즈로 업스케일하면 다른 숏과 잘 어울립니다.

업스케일이 해가 될 때

• 작게 잡힌 얼굴. 소스에서 높이가 20픽셀인 얼굴은 모델이 쓸 정보가 거의 없습니다. 결과가 다른 사람처럼 보일 수 있습니다.
• 글자, 간판, 숫자. 모델은 글자를 그럴듯하지만 틀리게 바꿔 놓을 수 있습니다. 글자가 이야기나 기록에 중요하다면, 부드럽더라도 정확하게 두십시오.
• 다큐멘터리와 증거 자료. 영상이 무슨 일이 있었는지 보여 주기 위한 것이라면, 지어낸 디테일은 취향이 아니라 정직성의 문제입니다. 보간을 쓰거나 처리 사실을 밝히십시오.
• 강한 그레인. 필름 그레인은 본래 무작위입니다. 어떤 모델은 이를 질감으로 읽고 선명하게 만들어 프레임마다 일렁이는 패턴으로 바꿉니다.
• 이미 충분히 선명한 HD. HD 소스가 깨끗하고 노출이 좋다면, 좋은 보간과 약한 샤프닝만으로 충분할 수 있고 렌더링도 훨씬 빠릅니다.

왜 로컬에서 하는가

클라우드 업스케일러는 편리하지만, 영상을 업로드하고, 분당 또는 크레딧 단위로 비용을 내고, 대기열을 기다려야 하는 경우가 많습니다. 미공개 영화, 클라이언트 소스, 라이선스 계약된 아카이브라면 업로드 자체가 문제일 수 있습니다. 더 넓은 질문은 AI 영상 편집은 내 영상을 업로드할까에서, 비용 측면은 AI 영상의 생성당 과금에서 다룹니다.

Apple silicon에서 로컬로 업스케일하면 업로드도 과금 계량기도 없습니다. 대신 시간과 열이 듭니다. 업스케일은 편집 앱이 실행하는 가장 무거운 작업 중 하나이며, 사양이 낮은 Mac에서는 장편 렌더링에 오랜 시간이 걸릴 수 있습니다.

Mac에서 쓸 수 있는 선택지

편집 프로그램의 보간. HD 소스를 4K 타임라인에 놓고 화면에 맞게 확대하는 것이 보간입니다. 대부분의 편집 프로그램은 프로젝트나 내보내기 설정에서 스케일링 품질을 고를 수 있습니다. 다른 모든 방법이 넘어서야 할 기준선입니다.

DaVinci Resolve. Resolve에는 클립 단위로 적용하는 학습 기반 업스케일러인 Super Scale이 있습니다. 어느 에디션에 포함되는지, 사용하는 버전에 어떤 옵션이 있는지는 Blackmagic Design의 최신 문서를 확인하십시오.

전용 업스케일 앱. Topaz Labs 제품 같은 전문 도구는 소스 종류별로 조정된 여러 모델을 제공합니다. 이 한 가지 작업에 집중하며, 파일을 그 도구와 주고받으며 작업하게 됩니다. 최신 가격, 라이선스 조건, Mac 요구 사항은 공급사에서 확인하십시오.

명령줄 변환. FFmpeg는 바이큐빅, Lanczos 같은 고전적인 필터로 영상을 확대할 수 있습니다. 무료이고 스크립트로 자동화할 수 있어 일괄 보간에 유용하지만, 그것만으로는 전용 학습 기반 업스케일러를 대신하지 못합니다.

cinemaOS. Apple silicon용 Mac 네이티브 편집 프로그램으로, 업스케일한 파일을 다시 가져와 타임라인에서 패스를 비교할 수 있습니다. 자세한 내용은 아래에서 다룹니다.

어떤 앱에서나 통하는 테스트 루틴

1. 가장 어려운 10초를 고르십시오. 얼굴, 미세한 질감, 움직임이 있는 구간을 고릅니다. 그 부분이 제대로 보이면 나머지도 대개 괜찮습니다.
2. 확대하기 전에 정리하십시오. 인터레이스 소스는 디인터레이스하고, 프레임 레이트를 바로잡고, 심한 노이즈나 압축 노이즈를 먼저 줄입니다. 업스케일은 프레임 안의 모든 것을 증폭하며, 문제도 예외가 아닙니다.
3. 그레이딩은 나중에, 적어도 확인은 나중에 하십시오. 대비와 채도를 바꾸면 플랫한 소스에서는 보이지 않던 업스케일 아티팩트가 드러날 수 있습니다. 결과를 그레이딩을 거친 상태로 보십시오.
4. 두세 개의 패스를 렌더링하십시오. 보간 패스 하나, 약한 설정의 학습 기반 패스 하나, 강한 설정의 패스 하나. 이름을 분명하게 붙이십시오.
5. 100% 크기와 시청 크기로 비교하십시오. 타임라인에 패스를 쌓아 두고 번갈아 봅니다. 얼굴, 가장자리, 글자, 그레인을 확인합니다. 그다음 관객이 보게 될 크기로 보십시오. 확대해야만 보이는 차이는 중요하지 않을 수 있기 때문입니다.
6. 정지 화면만이 아니라 움직임을 확인하십시오. 한 프레임은 훌륭해 보여도 연속 재생에서는 깜빡일 수 있습니다. 모든 패스를 재생해서, 가능하면 큰 디스플레이로 보십시오.
7. 원본을 보관하십시오. 소스를 업스케일본으로 바꿔치기하지 마십시오. 나중에 클라이언트나 아카이브가 요청하면 실제로 촬영된 것을 보여 줄 수 있어야 합니다.

이 루틴을 cinemaOS에서 실행하기

cinemaOS는 Apple silicon용 Mac 네이티브 편집 및 피니싱 앱으로, 로컬 우선 .mntm 프로젝트를 중심으로 만들어졌습니다. 전용 업스케일 앱이 아니므로, 위 루틴에 무엇을 더하고 무엇을 더하지 않는지 정리합니다.

모델이 돌아가는 곳에서 업스케일하십시오. 학습 기반 패스는 Resolve나 전용 업스케일 앱처럼 그 기능을 제공하는 도구에서 렌더링하고, 보간 패스는 FFmpeg로도 만들 수 있습니다. 그런 다음 렌더링한 파일을 다른 클립처럼 Import Media로 다시 가져옵니다.

타임라인에서 패스를 비교하십시오. 어떤 패스도 다른 패스를 덮어쓰지 않도록 렌더링마다 다른 이름을 붙이고, Sequencer에서 원본 위에 패스를 쌓아 번갈아 봅니다. 업스케일한 클립을 편집에 넣기 전에 손대지 않은 편집의 사본을 남겨 두면 쉽게 되돌아갈 수 있습니다.

그레이딩을 거쳐 확인하십시오. Finisher를 열고 화면과 스코프를 함께 보면서, 업스케일한 클립을 그레이딩을 거친 상태로 확인합니다. 루틴의 3단계가 권하는 방식입니다.

백그라운드 작업을 지켜보십시오. Task Center(Option Command 0)에 백그라운드 미디어 작업이 표시되므로, 패스를 판단하기 전에 아직 무엇이 진행 중인지 볼 수 있습니다.

모델의 추측이 맞다고 보장할 수 있는 도구는 없습니다. 지어낸 디테일을 받아들일지에 대한 판단은 여러분의 몫입니다. 납품 전 마지막 세부 사항에는 편집의 마지막 5퍼센트에 관한 글이 유용한 체크리스트가 됩니다.

FAQ

업스케일한 4K는 4K로 촬영한 영상만큼 좋은가요?

아닙니다. 와이드 숏이나 일반적인 시청 거리에서는 비슷해 보일 수 있지만, 실제 4K 촬영은 모델이 추정만 할 수 있는 디테일을 기록합니다. 업스케일은 HD 소스를 4K 납품에 맞추는 방법으로 여기고, 필요한 해상도로 촬영하는 것을 대신한다고 생각하지 마십시오.

Mac에서 로컬로 영상을 업스케일하는 데 얼마나 걸리나요?

모델, 소스 해상도, 클립 길이, 그리고 사용하는 Mac에 따라 다릅니다. 학습 기반 업스케일은 보간보다 훨씬 느리고 실시간보다 느릴 수 있습니다. 긴 렌더링을 시작하기 전에 먼저 10초를 테스트해 전체 시간을 계산해 보고, 컴퓨터를 쓰지 않을 때 돌려 두십시오.

업스케일은 편집 전에 해야 하나요, 후에 해야 하나요?

보통은 편집이 확정된 뒤에, 필요한 클립에만 합니다. 처음부터 전부 업스케일하면 최종 컷에 들어가지도 않을 영상에 시간을 낭비합니다. 원본 미디어로 편집하고, 피니싱 단계에서 선택한 숏만 업스케일한 뒤 최종 그레이딩을 거쳐 확인하십시오.