在 Mac 本地将视频提升到 4K
不上传素材,在 Mac 上把视频超分到 4K:AI 超分何时有用、何时会凭空编造细节,以及正式渲染前如何测试。
在 Mac 上把视频提升到 4K,有两种做法:用传统的缩放滤镜放大(速度快、忠实、略显柔和),或者交给机器学习模型去预测缺失的细节(更锐利、更慢,而且可能编造出画面里从未有过的东西)。两者都可以在 Apple silicon 上本地运行,素材不必离开你的电脑。实际方法在任何工具里都一样:先清理源素材,用两三种设置测试一小段,在 100% 显示下与原片对比,确认之后再渲染整个片段。
本指南介绍超分能做什么、不能做什么,如何选择方法,一套在任何软件里都适用的测试流程,以及如何在 cinemaOS 中执行这套流程。
超分到底在做什么
一帧 1080p 画面大约有两百万像素,一帧 UHD 4K 画面大约有八百万像素。超分要填补剩下的六百万像素,主要有两种方式。
插值。 双三次、Lanczos 等传统滤镜根据相邻像素计算每个新像素。不会编造任何新内容,所以结果忠实但偏软。边缘保持原位,细微纹理不会出现。所有剪辑软件和大多数转换工具都提供这种方式。
学习型超分。 用低分辨率与高分辨率图像对训练出来的神经网络模型,会预测缺失的细节大概是什么样子。效果好时,边缘变得清晰,头发和布料有了纹理,压缩色块也会消失。效果差时,人脸变得像蜡像,文字被改写成毫无意义的形状,颗粒变成蠕动的花纹。
关键词是 大概。模型无法找回摄影机从未记录的信息,它给出的是一个看似合理的猜测。对街道的全景镜头来说,看似合理的猜测通常没问题。但对档案采访中的人脸,或文件中需要能读清的文字来说,看似合理的猜测可能以观众会注意到的方式出错。
超分有帮助的场景
- 4K 时间线上的高清素材。 4K 主机位旁边配一台 1080p 副机位是最常见的情况。好的超分能让剪辑点不那么明显。
- 交付要求。 有些平台和客户要求 UHD 母版,即使部分素材是高清。超分是满足规格的诚实做法,不用假装源素材是 4K 拍摄的。
- 档案素材和较老的数字素材。 SD 磁带、早期高清和高度压缩的网络视频都可能受益,尤其是配合去隔行、降噪和压缩瑕疵清理一起使用时。
- 裁切放大。 在 4K 镜头里裁切重新构图,实际上就把它变成了更低分辨率的镜头。把裁切后的画面超分回完整尺寸,有助于它和其他镜头衔接。
超分反而有害的场景
- 画面中很小的人脸。 在源素材里只有二十像素高的人脸,留给模型的信息非常少,结果可能看起来像另一个人。
- 文字、招牌和数字。 模型可能把字母改得很像样,却是错的。如果文字对故事或记录很重要,宁可让它保持柔和但真实。
- 纪录片和证据类素材。 如果画面的作用是呈现发生了什么,编造的细节就是诚实问题,而不是审美问题。请使用插值,或者说明做过的处理。
- 浓重的颗粒。 胶片颗粒本质上是随机的。有些模型会把它当成纹理去锐化,变成帧与帧之间闪烁的花纹。
- 本身已经很锐利的高清素材。 如果高清源干净、曝光良好,一次好的插值加上轻微锐化可能就够了,而且渲染快得多。
为什么要在本地做
云端超分工具很方便,但通常意味着上传素材、按分钟或按积分付费,还要排队等待。对于未发行的影片、客户素材或有授权限制的档案,光是上传这一步就可能成为问题。更广泛的问题我们在 AI 视频剪辑会上传我的素材吗 中讨论过,费用方面则见 AI 视频按次生成付费。
在 Apple silicon 上本地超分,省去了上传,也不用按量计费。代价是时间和发热。超分是剪辑软件里最吃资源的任务之一,在配置较低的 Mac 上,渲染一部长片可能要花很长时间。
在 Mac 上有哪些选择
剪辑软件里的插值。 把高清素材放进 4K 时间线并缩放到满屏,就是插值。大多数剪辑软件允许在项目或导出设置中选择缩放质量。这是基准线,其他方法都应该比它好。
DaVinci Resolve。 Resolve 提供 Super Scale,一种按片段应用的学习型超分。哪个版本包含它、你的版本有哪些选项,请查看 Blackmagic Design 的最新文档。
专用超分软件。 像 Topaz Labs 这类专业工具,提供多个针对不同源素材调校的模型。它们专注于这一项任务,你需要把文件导出过去处理再导回来。请向厂商确认当前价格、授权条款和 Mac 系统要求。
命令行转换。 FFmpeg 可以用双三次、Lanczos 等传统滤镜放大视频。它免费、可脚本化,适合批量插值,但单靠它无法替代专用的学习型超分工具。
cinemaOS。 面向 Apple silicon 的 Mac 原生剪辑软件,可以把超分后的文件导回来,在时间线上对比各个版本。下文详述。
一套在任何软件里都适用的测试流程
- 挑出最难的十秒。 选一段有人脸、有细微纹理、有运动的片段。如果这些看起来没问题,其余部分通常也没问题。
- 先清理,再放大。 先对隔行源去隔行,修正帧率,减轻严重的噪点或压缩瑕疵。超分会放大画面里的一切,包括问题。
- 调色放在之后,至少检查放在之后。 对比度和饱和度的变化可能暴露出在平淡的源素材上看不见的超分瑕疵。请透过你的调色去看结果。
- 渲染两到三个版本。 一个插值版本,一个温和设置的学习型版本,一个较强设置的版本。名字要起清楚。
- 在 100% 和实际观看尺寸下对比。 把各个版本叠在时间线上来回切换,观察人脸、边缘、文字和颗粒。然后按观众实际看到的尺寸观看,因为需要放大才能发现的差异可能并不重要。
- 检查运动,而不只是静帧。 单独一帧可能看起来很棒,连起来却在闪烁。每个版本都要动态播放,最好在大屏幕上看。
- 保留原片。 永远不要用超分版本替换源素材。如果客户或档案方之后来问,你要能拿出实际拍到的画面。
在 cinemaOS 中执行这套流程
cinemaOS 是一款面向 Apple silicon 的 Mac 原生剪辑和成片软件,围绕本地优先的 .mntm 项目构建。它不是专用的超分软件,所以下面说明它为上述流程增加了什么、没有增加什么。
在模型所在的工具里超分。 学习型版本在提供它的工具里渲染,例如 Resolve 或专门的超分应用;插值版本也可以用 FFmpeg 生成。然后像导入其他片段一样,用 Import Media 把渲染好的文件导回来。
在时间线上对比各个版本。 给每次渲染起一个不同的名字,避免某个版本覆盖另一个,在 Sequencer 里把各个版本叠在原片上方来回切换。把超分后的片段换进剪辑之前,先保留一份未改动剪辑的副本,方便随时回去。
透过调色检查。 打开 Finisher,同时观察画面和示波器,透过你的调色去看超分后的片段,这正是流程第 3 步的建议。
留意后台任务。 Task Center(Option Command 0)会显示后台媒体任务,这样在评判某个版本之前,你能看到哪些任务仍在运行。
没有任何工具能保证模型的猜测是正确的。编造出来的细节能否接受,判断权在你手里。交付前的最后细节,可以参考我们关于 剪辑最后百分之五 的文章,它是一份实用的检查清单。
常见问题
超分得到的 4K 和用 4K 拍摄的素材一样好吗?
不一样。在全景镜头和正常观看距离下,超分可能看起来很接近,但真正的 4K 拍摄记录了模型只能估算的细节。请把超分当作让高清素材满足 4K 交付的手段,而不是用你所需分辨率拍摄的替代品。
在 Mac 上本地超分视频需要多长时间?
取决于模型、源分辨率、片段长度和你的 Mac。学习型超分比插值慢得多,可能比实时还慢。在开始长时间渲染之前,先测试十秒再推算总时长,并在你不需要用电脑的时候让它跑。
应该在剪辑前还是剪辑后超分?
通常在剪辑锁定之后,而且只处理需要的片段。一开始就全部超分,会把时间浪费在根本不会进入成片的素材上。先用原始媒体剪辑,然后在成片阶段对选定的镜头进行超分,并透过最终调色检查效果。