Macでローカルに動画を4Kへアップスケールする
動画をアップロードせずにMacで4Kへアップスケールする方法。AIが役立つ場面、細部を作り出してしまう場面、本番前の比較テストを解説します。
Macで動画を4Kにアップスケールする方法は2つあります。従来のスケーリングフィルターでサイズを変える方法(速く、正直で、少し柔らかい)と、失われた細部を予測する機械学習モデルに通す方法(よりシャープで、時間がかかり、元の映像になかったものを作り出すこともある)です。どちらもApple silicon上でローカルに実行できるので、映像をMacの外に出す必要はありません。実際の手順はどのツールでも同じです。まずソースをきれいにし、短い区間を2つか3つの設定でテストし、100%表示で元の映像と比べてから、クリップ全体をレンダリングします。
このガイドでは、アップスケールでできることとできないこと、方法の選び方、どのアプリでも使えるテスト手順、そしてその手順をcinemaOSで行う方法を説明します。
アップスケールが実際にしていること
1080pのフレームには約200万ピクセルがあります。UHD 4Kのフレームには約800万ピクセルがあります。アップスケールは残りの600万ピクセルを埋める処理で、その方法は大きく2つに分かれます。
補間。 バイキュービックやLanczosなどの従来のフィルターは、新しいピクセルを周囲のピクセルから計算します。何も新しく作り出さないので、結果は忠実ですが柔らかくなります。エッジは元の位置に残り、細かな質感は現れません。どの編集ソフトにも、多くの変換ツールにもこの機能があります。
学習型アップスケール。 低解像度と高解像度の画像のペアで学習したニューラルモデルが、失われた細部がおそらくどう見えていたかを予測します。うまくいけば、エッジがくっきりし、髪や布に質感が出て、圧縮ブロックが目立たなくなります。うまくいかなければ、顔がろう人形のようになり、文字が意味のない形に書き換えられ、グレインがうごめくパターンに変わります。
鍵となる言葉は おそらく です。モデルは、カメラが記録しなかった情報を取り戻すことはできません。作るのはもっともらしい推測です。街の引きのショットなら、もっともらしい推測でたいてい問題ありません。アーカイブのインタビューの顔や、文書の読める文字の場合、もっともらしい推測が観客に気づかれる形で間違っていることがあります。
アップスケールが役立つとき
- 4KタイムラインのHD素材。 4KのAカメラの隣に1080pのBカメラ、というのが最もよくあるケースです。良いアップスケールはカットのつなぎを目立たなくします。
- 納品要件。 素材の一部がHDでも、UHDマスターを求めるプラットフォームやクライアントがあります。アップスケールは、ソースが4Kで撮影されたふりをせずに仕様を満たす正直な方法です。
- アーカイブや古いデジタル素材。 SDテープ、初期のHD、強く圧縮されたWeb動画は、特にデインターレース、ノイズ除去、圧縮ノイズの除去と組み合わせると改善することがあります。
- クロップ。 4Kのショットを切り出してフレーミングし直すと、実質的に低い解像度のショットになります。切り出した部分をフルサイズに戻すアップスケールで、他のショットとなじみやすくなります。
アップスケールが逆効果になるとき
- 小さく映った顔。 ソースで高さ20ピクセルしかない顔では、モデルが使える情報がほとんどありません。結果が別人に見えることがあります。
- 文字、看板、数字。 モデルは文字をもっともらしく、しかし間違った形に作り変えることがあります。その文字が物語や記録にとって重要なら、柔らかいまま正確に残してください。
- ドキュメンタリーや証拠となる素材。 映像が何が起きたかを示すためのものなら、作り出された細部は好みの問題ではなく誠実さの問題です。補間を使うか、処理したことを明示してください。
- 強いグレイン。 フィルムグレインは本来ランダムです。モデルによってはそれを質感と解釈してシャープにし、フレーム間でちらつくパターンにしてしまいます。
- もともと十分シャープなHD。 HDのソースがきれいで露出も適切なら、良い補間と軽いシャープネスで十分なことがあり、レンダリングもはるかに速く済みます。
なぜローカルで行うのか
クラウドのアップスケーラーは便利ですが、映像のアップロード、分単位やクレジット単位の支払い、キュー待ちが伴うことが多くあります。未公開の映画、クライアントの素材、ライセンス契約下のアーカイブでは、アップロードそのものが問題になりえます。より広い話題は AI動画編集は映像をアップロードするのか で、コスト面は AI動画の生成ごとの支払い で取り上げています。
Apple silicon上のローカルアップスケールなら、アップロードも従量課金もありません。その代わりに時間と熱がかかります。アップスケールは編集アプリが行う処理の中でも特に重い部類で、小さめのMacでは長編のレンダリングにかなりの時間がかかることがあります。
Macでの選択肢
編集ソフトでの補間。 HD素材を4Kタイムラインに置いて画面に合わせて拡大するのが補間です。多くの編集ソフトでは、プロジェクト設定や書き出し設定でスケーリングの品質を選べます。これが、他のすべての方法が上回るべき基準です。
DaVinci Resolve。 ResolveにはSuper Scaleという、クリップ単位で適用する学習型アップスケーラーがあります。どのエディションに含まれるか、お使いのバージョンでどんなオプションがあるかは、Blackmagic Designの最新ドキュメントで確認してください。
専用のアップスケールアプリ。 Topaz Labsなどの専門ツールは、ソースの種類ごとに調整された複数のモデルを用意しています。この1つの作業に特化しており、ファイルをそのツールとの間で行き来させることになります。最新の価格、ライセンス条件、Macの動作要件はベンダーで確認してください。
コマンドラインでの変換。 FFmpegはバイキュービックやLanczosなどの従来のフィルターで動画を拡大できます。無料で、スクリプト化でき、一括の補間処理に便利ですが、それだけでは専用の学習型アップスケーラーの代わりにはなりません。
cinemaOS。 Apple silicon向けのMacネイティブな編集ソフトで、アップスケールしたファイルを読み込み直し、タイムライン上でパスを比べられます。詳しくは後述します。
どのアプリでも使えるテスト手順
- 最も難しい10秒を選ぶ。 顔、細かな質感、動きがある区間を選びます。そこが正しく見えれば、残りもたいてい大丈夫です。
- 拡大する前にきれいにする。 インターレースのソースはデインターレースし、フレームレートを直し、強いノイズや圧縮ノイズを先に減らします。アップスケールはフレーム内のものすべてを増幅し、問題も例外ではありません。
- グレーディングは後で、少なくとも確認は後で。 コントラストや彩度を変えると、フラットなソースでは見えなかったアップスケールのアーティファクトが現れることがあります。結果はグレーディングを通して確認してください。
- 2つか3つのパスをレンダリングする。 補間のパスを1つ、控えめな設定の学習型パスを1つ、強めの設定のパスを1つ。名前ははっきり付けておきます。
- 100%表示と視聴サイズで比べる。 タイムライン上にパスを重ね、切り替えながら見ます。顔、エッジ、文字、グレインを確認します。その後、観客が見るサイズで見てください。拡大しないと見つからない違いは、問題にならないかもしれないからです。
- 静止画だけでなく動きを確認する。 1フレームはきれいに見えても、連続するとちらつくことがあります。どのパスも動かして、できれば大きなディスプレイで見てください。
- 元の映像を残す。 ソースをアップスケール版で置き換えてはいけません。後でクライアントやアーカイブから求められたとき、実際に撮影されたものを見せられるようにしておきます。
この手順をcinemaOSで行う
cinemaOSは、Apple silicon向けのMacネイティブな編集・仕上げアプリで、ローカルファーストの.mntmプロジェクトを中心に作られています。専用のアップスケールアプリではないので、上の手順に何を加え、何を加えないかを説明します。
アップスケールはモデルが動くツールで行う。 学習型のパスは、Resolveや専用のアップスケールアプリなど、それを提供するツールでレンダリングし、補間のパスならFFmpegでも作れます。その後、レンダリングしたファイルをほかのクリップと同じようにImport Mediaで読み込み直します。
タイムライン上でパスを比べる。 どのパスもほかのパスを置き換えないようにレンダリングごとに別の名前を付け、Sequencerで元の素材の上にパスを重ねて切り替えながら見ます。アップスケールしたクリップを編集に差し替える前に、手を加えていない編集のコピーを残しておけば、いつでも簡単に戻れます。
グレーディングを通して確認する。 Finisherを開き、映像とスコープを同時に見ながら、アップスケールしたクリップをグレーディングを通した状態で確認します。手順3のとおりです。
バックグラウンドのジョブを見る。 Task Center(Option Command 0)にはバックグラウンドのメディアジョブが表示されるので、パスを評価する前にまだ何が処理中かを確認できます。
モデルの推測が正しいと保証できるツールはありません。作り出された細部を受け入れてよいかの判断は、あなたに委ねられています。納品前の最後の詰めには、編集の最後の5パーセント の記事がチェックリストとして役立ちます。
FAQ
アップスケールした4Kは、4Kで撮影した映像と同じくらい良いですか?
いいえ。引きのショットや通常の視聴距離では近く見えることもありますが、本物の4K撮影は、モデルが推定することしかできない細部を記録しています。アップスケールはHD素材を4K納品に合わせる手段と考え、必要な解像度で撮影することの代わりにはしないでください。
Macでローカルにアップスケールするにはどれくらい時間がかかりますか?
モデル、ソースの解像度、クリップの長さ、お使いのMacによって変わります。学習型アップスケールは補間よりはるかに遅く、実時間より遅くなることもあります。まず10秒をテストして全体の時間を見積もってから長いレンダリングを始め、Macを使わない時間に回しておきましょう。
アップスケールは編集の前と後のどちらにすべきですか?
通常は編集を確定させた後で、必要なクリップだけに行います。最初にすべてをアップスケールすると、最終的に使われない素材に時間を費やすことになります。元のメディアで編集し、仕上げの段階で選んだショットをアップスケールして、最終的なグレーディングを通して確認してください。