Апскейл відео до 4K локально на Mac

Щоб збільшити відео до 4K на Mac, ви або змінюєте розмір класичним фільтром масштабування (швидко, чесно, трохи м'яко), або проганяєте його через модель машинного навчання, яка передбачає відсутні деталі (різкіше, повільніше і здатне вигадати те, чого в кадрі ніколи не було). Обидва способи працюють локально на Apple silicon, тож матеріал не мусить залишати ваш комп'ютер. Практичний метод однаковий у будь-якому інструменті: спершу очистіть джерело, протестуйте короткий фрагмент із двома чи трьома налаштуваннями, порівняйте їх з оригіналом у масштабі 100% і лише тоді рендеріть увесь кліп.

Цей посібник пояснює, що апскейл може і чого не може, як обрати метод, який порядок тестування працює в будь-якій програмі і як виконати його в cinemaOS.

Що насправді робить апскейл

Кадр 1080p містить близько двох мільйонів пікселів. Кадр UHD 4K містить близько восьми мільйонів. Апскейл заповнює решту шість мільйонів, і для цього є два основні способи.

Інтерполяція. Класичні фільтри, як-от бікубічний чи Lanczos, обчислюють кожен новий піксель із сусідніх. Нічого нового не вигадується, тож результат точний, але м'який. Краї лишаються на своїх місцях, а дрібна текстура не з'являється. Це пропонує кожен монтажний редактор і більшість конвертерів.

Навчений апскейл. Нейронна модель, навчена на парах зображень низької й високої роздільності, передбачає, як імовірно виглядали відсутні деталі. Якщо все вдалося, краї стають чіткими, волосся й тканина отримують текстуру, а блоки компресії зникають. Якщо ні, обличчя стають восковими, текст переписується на безглузді форми, а зерно перетворюється на повзучий візерунок.

Ключове слово тут імовірно. Модель не може відновити інформацію, якої камера ніколи не записала. Вона створює правдоподібну здогадку. Для загального плану вулиці правдоподібна здогадка зазвичай годиться. Для обличчя в архівному інтерв'ю чи для розбірливого тексту в документі правдоподібна здогадка може виявитися хибною так, що глядач це помітить.

Коли апскейл допомагає

• HD-матеріал на 4K-таймлайні. 1080p із другої камери поруч із 4K з основної: найпоширеніший випадок. Добрий апскейл робить склейку менш помітною.
• Вимоги до здачі. Деякі платформи й клієнти просять UHD-мастер, навіть коли частина матеріалу в HD. Апскейл є чесним способом виконати вимогу, не вдаючи, що джерело знято в 4K.
• Архівний і старіший цифровий матеріал. SD-касети, раннє HD і сильно стиснуте вебвідео можуть виграти, особливо разом із деінтерлейсингом, шумозаглушенням і очищенням артефактів компресії.
• Кроп. Кадрування 4K-плану фактично перетворює його на план нижчої роздільності. Апскейл кропу назад до повного розміру допомагає йому вписатися в решту.

Коли апскейл шкодить

• Дрібні обличчя. Обличчя заввишки двадцять пікселів у джерелі дає моделі дуже мало матеріалу. Результат може виглядати як інша людина.
• Текст, вивіски й цифри. Моделі можуть переконливо, але неправильно змінити форму літер. Якщо текст важливий для історії чи для документування, залиште його м'яким і правдивим.
• Документальні матеріали й докази. Якщо відео має показати, що сталося, вигадані деталі є питанням чесності, а не смаку. Використовуйте інтерполяцію або повідомляйте про обробку.
• Сильне зерно. Плівкове зерно за природою випадкове. Деякі моделі сприймають його як текстуру і загострюють у візерунок, що мерехтить від кадру до кадру.
• І так різке HD. Якщо HD-джерело чисте й добре експоноване, доброї інтерполяції з легким підвищенням різкості може бути досить, і рендериться це значно швидше.

Навіщо робити це локально

Хмарні апскейлери зручні, але вони означають завантаження матеріалу, часто оплату за хвилину чи за кредит і очікування в черзі. Для невиданих фільмів, клієнтських матеріалів чи ліцензованого архіву вже саме завантаження може бути проблемою. Ширше питання ми розбираємо в статті чи завантажує ШІ-монтаж мій матеріал, а витрати в статті оплата за кожну генерацію в ШІ-відео.

Локальний апскейл на Apple silicon прибирає завантаження й лічильник. Ціна цього: час і нагрівання. Апскейл є одним із найважчих завдань, які виконує монтажна програма, і на слабшому Mac рендер повнометражного фільму може тривати довго.

Ваші варіанти на Mac

Інтерполяція у вашому редакторі. Розмістити HD-матеріал на 4K-таймлайні й масштабувати його на весь кадр: це і є інтерполяція. Більшість редакторів дозволяють обрати якість масштабування в налаштуваннях проєкту чи експорту. Це базовий рівень, який має перевершити будь-який інший метод.

DaVinci Resolve. Resolve пропонує Super Scale, навчений апскейлер, що застосовується до окремого кліпу. Перевірте актуальну документацію Blackmagic Design, яка редакція його містить і які параметри є у вашій версії.

Окремі програми для апскейлу. Спеціалізовані інструменти, наприклад від Topaz Labs, пропонують кілька моделей, налаштованих під різні типи джерел. Вони зосереджені на цьому одному завданні, і файли доводиться ганяти через них туди й назад. Перевірте актуальні ціни, умови ліцензування й вимоги до Mac у виробника.

Конвертація з командного рядка. FFmpeg уміє масштабувати відео класичними фільтрами, як-от бікубічним і Lanczos. Він безкоштовний, піддається скриптуванню і корисний для пакетної інтерполяції, але сам по собі не замінює окремого навченого апскейлера.

cinemaOS. Нативний редактор для Mac з Apple silicon, куди ви повертаєте апскейлені файли й порівнюєте проходи на таймлайні. Детальніше нижче.

Порядок тестування, що працює в будь-якій програмі

1. Оберіть найскладніші десять секунд. Виберіть фрагмент з обличчям, дрібною текстурою й рухом. Якщо вони виглядають правильно, решта зазвичай теж.
2. Очистіть перед масштабуванням. Спершу зробіть деінтерлейсинг черезрядкових джерел, виправте частоту кадрів і зменште сильний шум чи компресію. Апскейл підсилює все, що є в кадрі, зокрема проблеми.
3. Грейдьте після, або принаймні перевіряйте після. Зміни контрасту й насиченості можуть виявити артефакти апскейлу, які були непомітні на пласкому джерелі. Дивіться на результат крізь ваш грейд.
4. Відрендерте два чи три проходи. Один прохід інтерполяції, один навчений прохід із м'яким налаштуванням, один із сильнішим. Чітко їх назвіть.
5. Порівнюйте у 100% і в розмірі перегляду. Покладіть проходи один над одним на таймлайні й перемикайтеся між ними. Дивіться на обличчя, краї, текст і зерно. Потім перегляньте їх у розмірі, в якому побачить глядач, бо різниця, яку треба шукати зі збільшенням, може не мати значення.
6. Перевіряйте рух, а не лише стопкадри. Окремий кадр може виглядати чудово, а послідовність при цьому мерехтить. Перегляньте кожен прохід у русі, бажано на великому дисплеї.
7. Зберігайте оригінал. Ніколи не замінюйте джерело апскейленою версією. Якщо клієнт чи архів згодом запитає, ви захочете показати, що було знято.

Як виконати цей порядок у cinemaOS

cinemaOS: нативна програма для монтажу й фінішингу для Mac на Apple silicon, побудована навколо локальних проєктів .mntm. Це не окрема програма для апскейлу, тож ось що вона додає до наведеного вище порядку, а що ні.

Апскейльте там, де працює модель. Відрендерте навчений прохід в інструменті, який його пропонує, наприклад у Resolve чи в окремому застосунку для апскейлу, або прохід інтерполяції у FFmpeg, а потім поверніть відрендерений файл через Import Media, як будь-який інший кліп.

Порівнюйте проходи на таймлайні. Дайте кожному рендеру окрему назву, щоб жоден прохід не замінив інший, покладіть проходи над оригіналом у Sequencer і перемикайтеся між ними. Перш ніж вставляти апскейлені кліпи в монтаж, збережіть копію незмінного монтажу, щоб до нього було легко повернутися.

Перевіряйте їх крізь грейд. Відкрийте Finisher і дивіться на апскейлені кліпи крізь свій грейд, стежачи за картинкою й скопами одночасно, як радить крок 3 цього порядку.

Стежте за фоновими завданнями. Task Center (Option Command 0) показує фонові медіазавдання, тож ви бачите, що ще виконується, перш ніж оцінювати прохід.

Жоден інструмент не може гарантувати, що здогадка моделі правильна. Рішення, чи прийнятні вигадані деталі, лишається за вами. Для останніх дрібниць перед здачею корисним чеклістом буде наша стаття про останні п'ять відсотків монтажу.

FAQ

Чи апскейлене 4K таке ж добре, як матеріал, знятий у 4K?

Ні. Апскейл може виглядати близько на загальних планах і зі звичайної відстані перегляду, але справжня 4K-зйомка записує деталі, які модель може лише оцінити. Сприймайте апскейл як спосіб вписати HD-матеріал у 4K-здачу, а не як заміну зйомці в потрібній вам роздільності.

Скільки часу займає локальний апскейл відео на Mac?

Це залежить від моделі, роздільності джерела, тривалості кліпу і вашого Mac. Навчений апскейл значно повільніший за інтерполяцію і може працювати повільніше за реальний час. Спершу протестуйте десять секунд і помножте, перш ніж запускати довгий рендер, і залишайте його працювати тоді, коли комп'ютер вам не потрібен.

Робити апскейл до чи після монтажу?

Зазвичай після того, як монтаж затверджено, і лише для кліпів, яким це потрібно. Апскейл усього наперед марнує час на матеріал, який ніколи не потрапить у фільм. Монтуйте з оригінальними медіа, потім збільшуйте вибрані плани на етапі фінішингу й перевіряйте їх крізь фінальний грейд.