Skalowanie wideo do 4K lokalnie na Macu

Aby przeskalować wideo do 4K na Macu, albo zmieniasz jego rozmiar klasycznym filtrem skalowania (szybko, uczciwie, trochę miękko), albo przepuszczasz je przez model uczenia maszynowego, który przewiduje brakujące szczegóły (ostrzej, wolniej i z ryzykiem wymyślenia rzeczy, których nigdy tam nie było). Obie metody mogą działać lokalnie na Apple silicon, więc materiał nigdy nie musi opuszczać Twojego komputera. Praktyczna metoda jest taka sama w każdym narzędziu: najpierw oczyść źródło, przetestuj krótki fragment z dwoma lub trzema ustawieniami, porównaj je z oryginałem w powiększeniu 100% i dopiero wtedy wyrenderuj cały klip.

Ten poradnik omawia, co upscaling potrafi, a czego nie, jak wybrać metodę, procedurę testową działającą w każdej aplikacji i jak przeprowadzić ją w cinemaOS.

Co właściwie robi upscaling

Klatka 1080p ma około dwóch milionów pikseli. Klatka UHD 4K ma około ośmiu milionów. Upscaling wypełnia pozostałe sześć milionów, a są na to dwa ogólne sposoby.

Interpolacja. Klasyczne filtry, takie jak dwusześcienny (bicubic) czy Lanczos, obliczają każdy nowy piksel na podstawie sąsiednich. Nic nowego nie jest wymyślane, więc wynik jest wierny, ale miękki. Krawędzie zostają tam, gdzie były; drobna faktura się nie pojawia. Oferuje to każdy montażownik i większość narzędzi do konwersji.

Upscaling oparty na uczeniu. Model neuronowy wytrenowany na parach obrazów w niskiej i wysokiej rozdzielczości przewiduje, jak brakujące szczegóły prawdopodobnie wyglądały. Dobrze zrobiony daje ostre krawędzie, fakturę włosów i tkanin oraz znikające bloki kompresji. Źle zrobiony sprawia, że twarze wyglądają jak z wosku, tekst zamienia się w bezsensowne kształty, a ziarno w pełzający wzór.

Kluczowe słowo to prawdopodobnie. Model nie odzyska informacji, której kamera nigdy nie zarejestrowała. Tworzy wiarygodne przypuszczenie. W szerokim planie ulicy takie przypuszczenie zwykle wystarcza. W przypadku twarzy w archiwalnym wywiadzie albo czytelnego tekstu w dokumencie może być błędne w sposób, który widzowie zauważą.

Kiedy upscaling pomaga

• Materiał HD na osi czasu 4K. Kamera B w 1080p obok kamery A w 4K to najczęstszy przypadek. Dobry upscaling sprawia, że cięcie jest mniej widoczne.
• Wymagania dostawy. Niektóre platformy i klienci wymagają mastera UHD, nawet jeśli część materiału jest w HD. Upscaling to uczciwy sposób na spełnienie specyfikacji bez udawania, że źródło nagrano w 4K.
• Archiwa i starsze nagrania cyfrowe. Taśmy SD, wczesne HD i mocno skompresowane wideo z sieci mogą zyskać, zwłaszcza w połączeniu z usuwaniem przeplotu, redukcją szumu i oczyszczaniem kompresji.
• Przybliżenia kadru. Wykadrowanie fragmentu ujęcia 4K w praktyce zamienia je w ujęcie o niższej rozdzielczości. Przeskalowanie wycinka z powrotem do pełnego rozmiaru pomaga mu pasować do reszty.

Kiedy upscaling szkodzi

• Małe twarze. Twarz o wysokości dwudziestu pikseli w źródle daje modelowi bardzo mało materiału. Wynik może wyglądać jak inna osoba.
• Tekst, szyldy i liczby. Modele potrafią przekształcać litery przekonująco, ale błędnie. Jeśli tekst ma znaczenie dla historii lub dla dokumentacji, zostaw go miękkim i prawdziwym.
• Dokument i materiał dowodowy. Jeśli nagranie ma pokazywać, co się wydarzyło, wymyślone szczegóły to kwestia uczciwości, a nie gustu. Użyj interpolacji albo ujawnij obróbkę.
• Mocne ziarno. Ziarno filmowe jest z natury losowe. Niektóre modele odczytują je jako fakturę i wyostrzają we wzór, który migocze między klatkami.
• Ostre HD, które już wygląda prawie jak 4K. Jeśli źródło HD jest czyste i dobrze naświetlone, dobra interpolacja z lekkim wyostrzeniem może wystarczyć, a renderuje się znacznie szybciej.

Dlaczego robić to lokalnie

Upscalery w chmurze są wygodne, ale oznaczają wysyłanie materiału, często płacenie za minutę lub za kredyty i czekanie w kolejce. Przy niewydanych filmach, materiałach klientów czy archiwach na licencji już samo wysłanie może być problemem. Szerzej piszemy o tym w artykule czy montaż wideo z AI wysyła mój materiał, a o kosztach w tekście płacenie za każdą generację wideo AI.

Lokalny upscaling na Apple silicon eliminuje wysyłanie i licznik. Ceną jest czas i ciepło. Upscaling to jedno z najcięższych zadań, jakie wykonuje aplikacja do montażu, a na mniejszym Macu render pełnometrażowego filmu może trwać długo.

Twoje opcje na Macu

Interpolacja w montażówce. Umieszczenie materiału HD na osi czasu 4K i przeskalowanie go do kadru to interpolacja. Większość programów pozwala wybrać jakość skalowania w ustawieniach projektu lub eksportu. To punkt odniesienia, który każda inna metoda powinna przebić.

DaVinci Resolve. Resolve oferuje Super Scale, upscaler oparty na uczeniu stosowany do pojedynczych klipów. Sprawdź aktualną dokumentację Blackmagic Design, aby dowiedzieć się, która edycja go zawiera i jakie opcje ma Twoja wersja.

Dedykowane aplikacje do upscalingu. Wyspecjalizowane narzędzia, na przykład od Topaz Labs, oferują kilka modeli dostrojonych do różnych rodzajów źródeł. Skupiają się na tym jednym zadaniu, a pliki przesyłasz przez nie tam i z powrotem. Sprawdź aktualne ceny, warunki licencji i wymagania dla Maca u producenta.

Konwersja z wiersza poleceń. FFmpeg potrafi skalować wideo klasycznymi filtrami, takimi jak bicubic i Lanczos. Jest darmowy, skryptowalny i przydatny do wsadowej interpolacji, ale sam w sobie nie zastępuje dedykowanego upscalera opartego na uczeniu.

cinemaOS. Natywny program do montażu na Maca z Apple silicon, do którego wczytujesz z powrotem przeskalowane pliki i porównujesz warianty na osi czasu. Więcej o tym niżej.

Procedura testowa działająca w każdej aplikacji

1. Wybierz najtrudniejsze dziesięć sekund. Wybierz fragment z twarzą, drobną fakturą i ruchem. Jeśli to wygląda dobrze, reszta zwykle też będzie.
2. Oczyść przed skalowaniem. Usuń przeplot ze źródeł z przeplotem, popraw liczbę klatek na sekundę i najpierw zredukuj mocny szum lub kompresję. Upscaling wzmacnia wszystko, co jest w klatce, łącznie z problemami.
3. Gradinguj później, a przynajmniej sprawdzaj później. Zmiany kontrastu i nasycenia mogą ujawnić artefakty upscalingu, które na płaskim źródle były niewidoczne. Oglądaj wynik przez swój grading.
4. Wyrenderuj dwa lub trzy warianty. Jeden z interpolacją, jeden z upscalingiem opartym na uczeniu w łagodnym ustawieniu i jeden w mocniejszym. Nazwij je jasno.
5. Porównuj w 100% i w docelowym rozmiarze. Ułóż warianty na osi czasu jeden nad drugim i przełączaj się między nimi. Patrz na twarze, krawędzie, tekst i ziarno. Potem obejrzyj je w rozmiarze, w jakim zobaczą je widzowie, bo różnica, której trzeba szukać w powiększeniu, może nie mieć znaczenia.
6. Sprawdzaj ruch, a nie tylko stopklatki. Pojedyncza klatka może wyglądać świetnie, a sekwencja migotać. Obejrzyj każdy wariant w ruchu, najlepiej na dużym ekranie.
7. Zachowaj oryginał. Nigdy nie zastępuj źródła wersją po upscalingu. Jeśli klient lub archiwum zapyta później, będziesz chcieć pokazać, co zostało nagrane.

Ta procedura w cinemaOS

cinemaOS to natywna aplikacja do montażu i finalizacji na Maca z Apple silicon, zbudowana wokół lokalnych projektów .mntm. Nie jest dedykowaną aplikacją do upscalingu, więc oto co dodaje do powyższej procedury, a czego nie.

Skaluj tam, gdzie działa model. Wyrenderuj wariant oparty na uczeniu w narzędziu, które go oferuje, na przykład w Resolve lub w wyspecjalizowanej aplikacji do upscalingu, albo wariant z interpolacją w FFmpeg, a potem wczytaj wyrenderowany plik przez Import Media jak każdy inny klip.

Porównuj warianty na osi czasu. Nadaj każdemu renderowi osobną nazwę, żeby żaden wariant nie zastąpił innego, ułóż warianty nad oryginałem w Sequencer i przełączaj się między nimi. Zanim wstawisz przeskalowane klipy do montażu, zachowaj kopię nietkniętego montażu, żeby łatwo do niego wrócić.

Sprawdzaj je przez grading. Otwórz Finisher i oglądaj przeskalowane klipy przez swój grading, patrząc jednocześnie na obraz i scopes, tak jak sugeruje krok 3 procedury.

Obserwuj zadania w tle. Task Center (Option Command 0) pokazuje zadania multimedialne w tle, więc widzisz, co jeszcze trwa, zanim ocenisz wariant.

Żadne narzędzie nie zagwarantuje, że przypuszczenie modelu jest trafne. Ocena, czy wymyślone szczegóły są do przyjęcia, należy do Ciebie. Przy ostatnich detalach przed dostawą przydatną listą kontrolną jest nasz tekst o ostatnich pięciu procentach montażu.

FAQ

Czy 4K po upscalingu jest tak dobre jak materiał nagrany w 4K?

Nie. Upscaling może wyglądać podobnie w szerokich planach i przy normalnej odległości oglądania, ale prawdziwe nagranie 4K rejestruje szczegóły, które model może jedynie oszacować. Traktuj upscaling jako sposób na dopasowanie materiału HD do dostawy w 4K, a nie zamiennik nagrywania w potrzebnej rozdzielczości.

Ile trwa lokalny upscaling wideo na Macu?

To zależy od modelu, rozdzielczości źródła, długości klipu i Twojego Maca. Upscaling oparty na uczeniu jest znacznie wolniejszy niż interpolacja i może działać wolniej niż w czasie rzeczywistym. Najpierw przetestuj dziesięć sekund i przemnóż wynik, zanim zdecydujesz się na długi render, a potem zostaw go, gdy nie potrzebujesz komputera.

Czy robić upscaling przed montażem, czy po nim?

Zwykle po zamknięciu montażu i tylko na klipach, które tego wymagają. Skalowanie wszystkiego na starcie marnuje czas na materiał, który nigdy nie trafi do montażu. Montuj na oryginalnym materiale, potem przeskaluj wybrane ujęcia podczas finalizacji i sprawdź je przez końcowy grading.