通行人を消して、無人の渋谷を作る !

"mocha Pro" で動いているものを消す映像合成術

小森 幸人 氏による

 mocha Pro 解説 Part 2

日夜通行人 が途切れることのない東京渋谷の交差点 ─── ふいに人影が消え去り、たった一人女性がたたずむ。。。こんな幻想的な映像を実現したのは、(株)ピラミッドフィルム ピースリーの映像ディレクター兼チーフエディターの 小森 幸人 氏 です。


この作品の映像合成 に活用されたメインツール、それが、プラナートラッキングソフトウェアの mocha Pro です。小森氏には、この mocha Pro 活用事例の第一弾「面で追うプラナートラッキングを使った映像合成方法」を紹介頂きましたが、今回はその解説のご好評にお応えする続編の第二弾になります!


面でトラッキングする "プラナートラッキング" を実現するスタンドアロンソフトウェアの mocha Pro は、ロトスコーピングで任意のマスクデータを作成し、動きのある特定のオブジェクトを消したり、別オブジェクトを貼付けたりできる画期的ツールです。映像合成を素早く且つ正確に行う mocha Pro は、ハリウッド映画などでも多用されています。


今回の第二弾では 、主に第一弾の解説ではご紹介できなかった、mocha Pro の独自機能、リムーブモジュールや、レンズモジュールを活用しながら、第一線のプロが行う映像合成術に迫ります。

※本第二弾の解説は、mocha の基本機能をご習得済みの前提で進みます。基本機能を復習したい方はぜひ 【mocha Pro 解説 第一弾】をご覧ください!

クリエイターズ ビュー/mocha Pro 解説 Part 2 (完成ビデオ)

渋谷の交差点から人影が消える ───!まずはその幻想的作品【nowhere woman】をご覧ください。

mocha Pro 解説2・ビデオ1:
通行人を消し無人の渋谷を作る (リムーブ其の一)

では早速、渋谷の交差点のクリップから通行人を消し去り、無人の渋谷を作ってみましょう。 mocha Pro で、ビデオクリップから任意のオブジェクトを消すリムーブの方法は大きく2つのアプローチがあります。ビデオ1では、その一つ、クリップに消したいオブジェクトが空(から)となる(背景の)フレームがある場合の作成方法を解説します。

解説ポイント

・除外したいオブジェクト (信号や街灯) をトラッキング
・消したいオブジェクト (通行人) をトラッキング
・消したいオブジェクトを参照する範囲 (通行人が含まれる範囲) をトラッキング
・消したいオブジェクトにボケ足をつける (ウーバーキーの活用)
・リムーブ機能でオブジェクトを消す
・リムーブ機能でオブジェクトを消す (通行人二人目)
・除外したいオブジェクトと消したいオブジェクトの関係
・全フレームのレンダリング〜完成ファイルの保存

■ 除外したいオブジェクト (信号や街灯) をトラッキング

まず mocha Pro を起動して、今回使用するビデオクリップを読み込みます。
mocha Pro >File>New Project > Choose>ビデオクリップを選択>Open

はじめにトラッキングの邪魔になる信号と街灯をトラッキングしていきます。

ツールパレットの Create X-Spline Layer Tool を選択、信号と街灯をスプラインで囲みます。
Shear のチェックを切り、トラッキングボタンをクリック。
トラッキングが終わったら、Layer Controls のトラッキングデータに名前をつけます。(ここでは pole01, pole02)

■ 消したいオブジェクト (通行人) をトラッキング

(02:50)

では通行人を消していきます。
まず消したいオブジェクト、対象の人物をスプラインで囲み、Shear を切ってトラッキンングします。
スプラインが対象から外れてしまったら、外れた時点まで戻りスプラインを調整、そのタイミングから再度トラッキングできます。
トラッキングが終了したら、スプラインを微調整します。

スプラインで囲んだ部分をリムーブしていきますので、あまりタイトに囲まないようにします。はみ出さない程度でよき具合で調整します。
この通行人のスプラインのレイヤーに名前をつけます。(ここでは L_obj01)

■ 消したいオブジェクトを参照する範囲 (通行人が含まれる範囲) をトラッキング

(05:00)

通行人のオブジェクトを消すに当たって、mocha Pro に参照する範囲 (全フレームに渡りオブジェクトが含まれる範囲)を指定します。
周囲の通行人の3人を全て消しますので、この3人を網羅する範囲を指定しましょう。

このレイヤーに名前をつけ (ここでは L_bg)、レイヤー階層の一番下に移動します。
Shear を切ってトラッキング。

■ 消したいオブジェクトにボケ足をつける (ウーバーキーの活用)

(05:55)

トラッキング完了後、リムーブモジュールのパレットを表示させます。
Remove のタブをクリック。

まず消したい人物のスプラインにボケ足をつけます。
ウーバーキー (Uber-key) を押し、Edge Width のプラス値をクリックすると、全フレームにボケ足が一気に追加できます。

このウーバーキーを押さずに、Edge Width のプラス値をクリックすると、ボケ足は指定した1フレームしか追加されません。
この mocha Pro の独自のウーバーキーは大変便利な機能の一つです。

■ リムーブ機能でオブジェクトを消す

(06:45)

消したいオブジェクトのトラッキングレイヤーを、オブジェクト参照するトラッキングレイヤーのすぐ上に移動します。

オートキー (Enable automatic keyframe insertion) をクリック、Render Current Frame をクリック。1フレ、レンダリングします。
消したいオブジェクト (通行人)が 消えました。

すると、Clip to show in the main window に、Remove の名前の付いたファイルが作られます。これが消した結果のファイルになります。

■ リムーブ機能でオブジェクトを消す (通行人二人目)

(07:50)

次に自転車の人物を消します。
Track モジュールに戻り、自転車の人物をスプラインを描き、トラッキング。
自転車の人がフレームアウトした時点で、インポイントを打ち、スプラインを調節します。
ボケ足をつけ、自転車の人物のトラッキングレイヤーを、参照するレイヤーのすぐ上に移動します。1フレームレンダリングすると、一見消えているようですが、街灯の前だけに自転車の人物が残っています。

■ 除外したいオブジェクトと消したいオブジェクトの関係

(09:30)

これは、リムーブするオブジェクトのトラッキングレイヤーの上に来る(障害物避け用の)トラッキングレイヤーは計算しないという mocha Pro の便利な機能が裏目に出たためです。

一度全てのレンダーを undo (Edit>Undo Render in All Frames) して、障害物避け用のレイヤーを一番下に移動します。(pole01、pole02 を参照レイヤーの下に移動します)

もう一度レンダリングすると、自転車の人物が綺麗に消えます。
複数のトラッキングレイヤーがある場合、その重ね順に注意が必要です。

■ 全フレームのレンダリング〜完成ファイルの保存

(10:20)

全フレームレンダリングしてみましょう。Render Backwards をクリック。
しかし、インポイントやアウトポイントを打つと、全体のレンダリングが途中で止まってしまいますので、フィックスのレイヤーがある時は、インポイントやアウトポイントは設定しない方がいいかもしれません。

あらためてレンダリング。再生するとトラッキングした通行人の二人が消えました。
こららの処理を人数分全て行うことで、全ての通行人を消すことができる訳です。

リムーブモジュールでオブジェクトを消した後の完成データは、自動的に results フォルダ の中に、マスクと一緒に .tifの連番ファイルとして保存されます。

mocha Pro 解説2・ビデオ2:
通行人を消し無人の渋谷を作る (リムーブ其の二)

通行人の中に、手前から奥へ歩いている人物がいます。この人物は動いていますが、空(から)となる背景がどのフレームにも存在しません。
このようにクリップに消したいオブジェクトが空(から)となる(背景の)フレームが存在しない場合のイレース方法、リムーブのもう一つのアプローチを紹介します。

解説ポイント

・消したいオブジェクト (通行人) と、参照範囲をトラッキング
・空(から)の背景「クリーンプレート」を活用する
・リームブを邪魔する対象オブジェクトを除く

■ 消したいオブジェクト (通行人) と、参照範囲をトラッキング

解説1で使用したクリップの別テイクのクリップを読み込みます。

今回消したい手前から奥へ歩いている通行人をスプラインで囲み、Shear を切ってトラッキング。人物のスプラインにも名前をつけます。(ここでは c10_ex_obj)

続いて、参照したい範囲をスプラインで囲んで名前をつけます。(ここでは c10_ex_bg)
参照のレイヤーを対象レイヤーの下に移動し、トラッキングします。
そしてウーバーキーをオンにして、ボケ足を追加します。

■ 空(から)の背景「クリーンプレート」を活用する

(02:25)

そして今回、リムーブモジュールの「クリーンプレート」を使用します。
Remove>Input>Cleanplate Clip>Import>Cleanplates のパレットを開きます。
ここから空(から)となる背景の静止画像 (.tif) を取り込みます。
Frame Number を39に変更します。
OKをクリック。
この空(から)の背景の静止画像(.tif)は、このクリップの39フレーム目で、あらかじめ、今回対象となる通行人を Photoshop で消し込んだものです。

そして、Remove>Input>Cleanplate Clip>Use Cleanplates Exclusively のチェックボックスをオンにします。それでは1フレ、レンダーしてみましょう。消えました。
それでは全フレーム、レンダリングしてみましょう。

■ リームブを邪魔する対象オブジェクトを除く

(03:27)

これでうまく消えているように思えますが、よく見ると消した一部が僅かに動いてしまっています。これは参照している範囲に、途中から入ってくる別の人物が原因です。

これを回避するには、リームブを邪魔している別の人物をスプラインで囲みます。
そしてそのレイヤーが、参照レイヤーよりも上になっていることを確認します。

リムーブモジュールでレンダーします。
すると先ほどリームブを邪魔していた別の人物の影響がなくなった状態で、消したいオブジェクトの 通行人が綺麗にイレースされます。

mocha Pro 解説2・ビデオ3:
After Effects との連携処理 (リムーブの仕上げ)

mocha Pro のリムーブモジュールで作成した結果を、After Effects で仕上げましょう。道に止まるトラックと、画面奥の道を通過する車を、mocha Pro と After Effects を連携させながら消していく方法や、早回しにした信号の合成などを紹介します。

解説ポイント

・.tif の連番ファイルと、対象を消した画像を After Effects に読み込む
・消したいオブジェクト (奥の道とトラック) をトラッキング
・mocha Pro で作成したトラッキングデータを After Effects 用に書き出す
・mocha Pro の結果を、RG Corner Pin を使ってコンポジションに配置
・After Effects のマスクを追加して、オブジェクトを消す
・ピクッと動いてしまう街灯の根元を修正する
・早回しにした信号を合成する
・微速度撮影の空を合成する

■ .tif の連番ファイルと、対象を消した画像を After Effectsに 読み込む

After Effects を起動し、ビデオ1でリームブした .tif の連番ファイルを、TIFFシークエンスとして読み込みます。

このクリップで、更に道に止まるトラックと、画面奥の道を通過する車を消していきます。

あらかじめ Photoshop で対象を消した1フレームの .tifファイルを After Effects に読み込み、コンポジションに配置します。

■ 消したいオブジェクト (奥の道とトラック) をトラッキング

(01:45)

mocha Pro に移ります。

mocha Pro で、画面奥の道をトラッキングします。
画面奥の道をスプラインで囲み、Shear を切ってトラッキング。
名前をつけます。(ここでは c10 track 01)
続いて道に止まるトラックのトラッキングを行います。
Shear を切ってトラッキング。
名前をつけます。(ここでは c10 track 02)

続いて、画像を貼り付けたい範囲を Show planar surface で指定します。

■ mocha Pro で作成したトラッキングデータを After Effects 用に書き出す

(03:02)

それではエクスポートトラッキングデータで保存します。

mocha Pro>Track>Export Tracking Data>Save>名前をつけて保存
Format:After Effects Corner Pin
c10 track 01>c10_01.txt
c10 track 02>c10_02.txt

■ mocha Pro の結果を、RG Corner Pin を使ってコンポジションに配置

(03:40)

After Effects に移ります。
静止画レイヤー>エフェクト>Red Giant Warp (別売のプラグインです)>RG Corner Pin を適用>Load Tob Pins と Load From Pins >に、先ほどエクスポートしたトラッキングデータ (c10_01.txt) を読み込みます。

RG Corner Pin は Twixtor などと同じく、最初のフレームを0からカウントしてしまいます。今回は頭を1フレームに設定していますので、全体的に1フレームずらします。
そして From Pins のなかのラストフレーム以外のキーフレームを消します。

■ After Effects のマスクを追加して、オブジェクトを消す

(04:40)

続いて消したい部分のマスクを描きます。
After Effects のペンツールで、画面奥の道の範囲を囲みます。
これで画面奥の道を通過する車が消えます。

もう一つ道に止まるトラックも消します。
同じ静止画レイヤーを読み込み、RG Corner Pin を適用。トラッキングデータ (c10_02.txt) を読み込みます。
手順は同じです。

■ ピクッと動いてしまう街灯の根元を修正する

(06:50)

よく見ると、一本の街灯の根元がピクッと動いているので修正します。

まずピクッと動く付近で一番正常なフレーム (tiffファイルの15フレーム目) を一枚、After Effects に読み込み、コンポジションに配置します。

mocha Pro に移ります。解説1のトラッキングデータから貼り付ける範囲のトラッキングレイヤーを指定し、エクスポートトラッキングデータで保存します。
mocha Pro>Track>Export Tracking Data>Save>名前をつけて保存 R_bg>c10_03.txt

(08:00)

After Effects に移り、根元が正常な街灯の静止画に RG Corner Pin を適用。トラッキングデータ (c10_03.txt)を読み込みます。
手順は同じです。

RG Corner Pin>From Pins のなかの15フレーム目以外のキーフレームを消します。

次に修正したい部分のマスクを描き、ボケ足をつけます。
不透明度にアニメーションをつけて調整します。

■ 早回しにした信号を合成する

(09:54)

タイムラプス感を演出するため、信号を早回しにします。
あらかじめストレッチしておいた信号のクリップを読み込みます。このクリップの信号の部分だけを使っていきます。
ここでは、After Effects の 3Dトラッキングを使用します。
After Effects>アニメーション>3Dカメラトラック
解析後、信号のある場所を選択し、ヌルとカメラを作成します。

コンポジションに信号の早回しクリップを配置します。
3Dレイヤーにして、タイムリマップを掛けます。
信号のマスクを切り、ボケ足をつけます。
位置を合わせます。これで信号が変わりました。
これを信号の数だけ繰り返します。

■ 微速度撮影の空を合成する

(13:25)

更にタイムラプス感を出すために微速度撮影した空(そら)の素材を合成します。
After Effects に空のクリップを読み込みます。
あらかじめ作成したビルのマスクのクリップを読み込みます。
ビルのマスクを、空のクリップのトラックマットとして使用します。
空のレイヤーを3Dレイヤーにすると、トラッキングのカメラデータが適用されます。空の透明度と色味を調整します。

もう一つコンポジションを作成し、シネスコの枠を挿入。水平垂直とポジションを合わせます。
最後に調整レイヤーで Magic Bullet Looks を適用、カラコレをして仕上げます。

mocha Pro 解説2・ビデオ4:
歪みに沿ったトラッキング (レンズモジュール)

mocha Pro の Lens Module (レンズモジュール) は、カメラのレンズによるディストーションを取ったり、逆にディストーションに合わせたトラッキング合成をするためのモジュールです。クリップから歪み、ディストーションを除去しつつ、指定のエリアに画像をマッピングする方法をご紹介します。

解説ポイント

・歪みのあるクリップから、歪んだラインを抽出、補正ラインを設定する
・レンズモデルを選択、キャリブレイトし、クリップの歪みを検出
・はめこみを行うエリア (窓の一枠) をトラッキング
・After Effects のクリップにディストーションデータを適用し歪みを除去
・歪みを補正したクリップの一部 (窓の一枠) に別の画像をはめる

■ 歪みのあるクリップから、歪んだラインを抽出、補正ラインを設定する

mocha Pro にディストーションのあるサンプルビデオを読み込みます。
mocha Pro >File>New Project > Choose> lens_org.mov を選択>Open
Lens タブをクリック、レンズモジュールに移ります。
Locate Lines ボタンをクリック、クリップで認識したラインが抽出されます。

Min Line length の値を上げて、ラインの密集度を調整します。

New Line のボタンをクリック、縦と横のラインを取っていきます。
mocha Pro の開発元の情報では、最も歪んでいるラインを基準にするとよい結果が得られるとことです。

■ レンズモデルを選択、キャリブレイトし、クリップの歪みを検出

(02:00)

プルダウンメニュー Choice of lens models からレンズモデルを選択します。
歪みの少ない場合は、1-Parameter。
1-Parameter でダメな場合は、2-Parameter。
Anamorphic、Distortion Map がある場合はこれを使います。
レンズモデルを選択したら、Calibrate (キャリブレイト) ボタンをクリック。
するとこのクリップの歪みが検出されます。

■ はめこみを行うエリア (窓の一枠) をトラッキング

(02:30)

では窓のスプラインを描いていきましょう。
Create X Spline でスプラインを描きます。
Show planar surface で範囲を指定します。
このように歪みに沿った平面が作れる訳です。
ではトラッキングしてみましょう。
歪みに沿ったトラッキングができます。

■ After Effects のクリップにディストーションデータを適用し歪みを除去

(04:10)

ではこのディストーションデータを After Effectsに持っていきましょう。

mocha Pro >Lens >Export Lens Data>
Format:mocha Lens for After Effects > Copy to Clipboard をクリックしてデータをコピーします。

After Effects に移ります。
コンポに置いた歪みのある同クリップを選択し、mocha Pro でコピーしたディストーションデータをペーストします。
mocha lens のエフェクトが適用され、クリップは歪みがとれた状態になります。

■ 歪みを補正したクリップの一部 (窓の一枠) に別の画像をはめる

(04:50)

先ほどのトラッキングした窓の一枠に別の画像をはめます。新規コンポを作成、はめる画像を配置。トランスフォーム>コンポジションに合わせる。先ほどの歪みのあるクリップのコンポに、このはめこむ画像のコンポを入れます。

mocha Pro、窓をトラッキングしたレイヤーを選択し、トラッキング情報をコピー。Track>Export Tracking Data >Format >After Effects Corner Pin >Remove lens distortion をチェック>Copy to Clipboard をクリック

After Effects に移り、窓にはめこむ画像のコンポレイヤーにペーストすると、歪みがとれたクリップに画像が貼り付けられます。レイヤーのモードをソフトライトにしてなじませるとよき感じかと思います。

mocha Pro 解説2・ビデオ5:人物をより印象づける

■ mocha を活用して人物をより印象づける

mocha Pro は、モデルさんの微調整にも活用しています。

アップのカットで、目の白目、黒目、アイキャッチの各部分と、ほくろなど消したい部分をトラッキングしています。
このトラッキングデータを活用し、After Effects にて 白目とアイキャッチの白い部分だけより白く強調して、人物をより印象づけるようにしています。

このように、mocha Proは様々なことに活用できると思いますので、いろいろとお試しください。

クリエイターズ ビュー/mocha Pro の活用事例 (ブレイクダウン)

以下、本解説でご紹介した mocha Pro の活用事例のブレイクダウンビデオです。

mocha Pro 活用例、サンプルプロジェクトも配布しております!

小森さんによる mocha Pro の解説 第二弾、いかがでしたでしょうか。
本解説でご紹介した mocha Pro のデモ版やサンプルプロジェクトも配布しておりますので、ぜひダウンロードの上、ご活用ください!

小森氏が解説で使用されている After Effects プロジェクトを配布
本ビデオ解説に合わせて、以下の 【mocha Pro】 評価用プロジェクトをご利用ください。
ビデオ解説にて使用された After Effects プロジェクト(CS6, CC 対応)、mocha Pro のプロジェクト、等関連ファイルを収録します。
そのほか機能詳細、価格、ご注文などは【mocha Pro 製品ページ】

※配布するプロジェクトは、製品の評価のみにご利用頂けます。評価以外の使用、再配布などはできません。

解説:小森 幸人 さんのご紹介

多摩美術大学卒業。コナミ株式会社を経て、現在、株式会社ピラミッドフィルム ピースリーにて映像ディレクター兼チーフエディターを勤める。

■ ディレクター作品:宮野真守 TVCM「WAKENING」、日本瓦斯 OPムービー「雲の宇宙船」、塩ノ谷 早耶香 MV「雪空」
           GAGA ムービングロゴ「BIG BAN」etc…

■ エディター作品:TOYOTA アルファード「ブエノスアイレス篇」、USJ「エヴァンゲリヲン4D」、資生堂 アルティミューン「誕生篇」etc…

■ コンテスト受賞歴:
・JPPA Awards 2002 エディターCM部門・シルバー賞
・17th ANNUAL LONDON INTERNATIONAL ADVERTISING AWARDS・FINALIST
・JPPA Awards 2009 エディターVP, MTV, その他部門・審査員特別賞
・Trapcode Creative Award 2013・グランプリ