フレーム補完と自動中割りの共通限界点

Dain-Appという興味深い技術が紹介されていますネ。

 

AIを駆使してアニメや映画をヌルヌル動かしてくれるフレーム補間ソフト「Dain-App」

https://gigazine.net/news/20200121-dain-app/

 

自動中割りというよりは、フレーム補完技術の流れですが、テレビの60fps補完機能と違うのは、もともと3コマ打ち=「8fps on 24fps」の映像まで60fpsに補完している点です。

 

従来のアリゴリズムですと、24fps映像の中に部分的に8fpsが含まれていると、カメラワークだけが60fps化されるなど、画面の中で8fpsと60fpsが混在する補完になっていましたが、Dain-Appのデモを見ると、3コマ打ちシートのキャラの動きも60fpsで動いていますよネ。正直、ソレができるとは思ってませんでした。AIのなせる技?‥‥なんですかね。どんどん技術は進歩しますネ。

 

映像内容を細かく観察して、

 

背景のスライドは24fps

 

だと認識し、一方、画像の特定部分=人物の部分とかは、

 

111222333444555666777888の3コマ打ち=8fps

 

‥‥と、同じ絵を3回使いまわしている動きであることは、少なくとも人間の知能なら分析できます。

 

同じ分析をDain-AppのAIでおこなっているかは、アウトサイダーなので不明ですが、映像を見る限りは達成しているように見えます。

 

この点は純粋に評価すべき点と思いますヨ。

 

 

 

‥‥で、制作現場で現役のアニメーターなら、すぐに目につきますよネ。

 

均等割りになってしまっていること

 

割り間違いが随所に散見されること

 

‥‥を、です。

 

実は、これは自動中割りでも同じ障害がありまして、ゆえに、私は自動中割り(ピクセルモーションによる画像補完)を現段階では極めて限定的にしか使わないのです。‥‥ちなみにカットアウトは自動中割りとは別の技術ですよ。

 

自動中割りと、Dain-Appが、同じ限界でつまずいていることは、注目すべきことです。

 

自動中割りのデモでたまに見るのが、炎の動きが下に送られて、上下上下を繰り返す動きになっているテクニカルエラーです。千切れた炎は下には戻らんですが、形が似ているから、間違うんですよネ。

 

 

 

‥‥で。

 

人間も同じミスをすることがあります。

 

人間でも、初心者や、やっつけ仕事のタップ割り・均等割りだと、同じ結果になるのです。

 

上述の炎の中割りも、新人が理屈も考えずに、周辺の似た形に中割りしてしまい、動画チーフに「普通に燃えてる炎って、下や真横に向かって動くかい?」と指導されます。昔からエフェクト作画で新人がやらかす「あるある」ネタです。

 

下図は極端ですけど、割りミス・割り間違いの典型です。

正しい動きは下図。

 

 

同じミスをするのに、人間もコンピュータも隔てなし。

 

興味深いですネ。

 

人間だと、こんな中割りはしない!‥‥とか言いがちですが、人間でも知識と経験が及ばないと、自動中割りやDain-Appと同じ結果物を作ってしまうのです。

 

例えば、キャラの各パーツそれぞれ異なる動きの流れ(それぞれのツメ)を見極めることって、動画作業者の中堅以上のキャリアでないと難しいです。

 

ゆえに、自動中割りもDain-Appも、そして初心段階の人間の動画作業者も、中割りは均等で綺麗なんだけど、動きがチグハグになるのです。

 

 

 

実は、初心者から中堅以上のレベルに上がるためには、「自分の中の、技術的特異点を通過する」必要があります。

 

あ‥‥なんか、解ったかも。

 

‥‥と、突き抜けて、向こう側へと繋がった感覚‥‥とでもいいましょうか。

 

オカルトみたいな表現ではなく、もう少し現実的な表現で言うと、動き=運動には、近似性があって、重量やスケールの大小こそあれど、皆、似た形や運動をしていることに「まるで一線を越えたように、すっと理解できる瞬間」があって、その近似性を応用できることにも気づく‥‥といいましょうか。

 

もっと言えば、別のジャンルに思える、絵のレイアウト、絵の色彩、映像の抑揚、音楽の旋律やリズムは、みな近似しているのです。‥‥あれ、もっとわからなくなっちゃいましたかね‥‥。

 

After Effectsのキーフレームのカーブを設定する時、初心者の人はめちゃくちゃなカーブを設定しがちですが、見ていて心地よい映像は、キーフレームのカーブだって、まるで猫の背中のカーブを描くようにゆったりと滑らかなんですヨ。

 

 

*キーフレームのカーブは、絵を描くのと同じです。激しい変化を求めていないのに、ちぐはぐでガタガタなカーブになれば、映像だってガタガタで不自然になります。猫の滑らかなボディカーブが描けるのなら、その描き方を頭の奥でイメージして応用すれば良いのです。

 

 

「間(空白)を表現する」「様々な動きの中に、自然界法則の暗喩を見る」ということを、AIにも学んでもらわないと、その先の「人間だけが表現していた領域」には踏み込めません。

 

やっつけ仕事の粗い内容はAIにもできるでしょうが、監督・演出の人に「そうそう!この雰囲気が欲しかったんだよ!」と言ってもらえる完成物には、ほど遠いものになります。

 

 

 

AIではないですが、「フレーム補完」「自動中割り」について、ずいぶん前に、こんな映像をテストしたことがあります。

 

技術的なハードルは高くて、原画から動画へと映像を作れるか‥‥というお題です。

 

原画の絵のタイムラインはこうです。

 

 

 

期待する結果はこうですよネ。24fpsフルモーションの場合。‥‥カットアウトで動かしているので、普通に動きます。

 

 

8fps(3コマ打ちの場合)では、以下のようにパタパタとした可愛い感じに動きます。これもカットアウトです。

 

 

 

でも実際に「自動中割り」「フレーム補完」で処理してみると、以下のようになりました。原画のコマの絵から、ピクセルモーションで「自動中割り」した結果です。原画枚数だと絵(フレーム)が少ないので、「中割りの絵に大問題」が発生していますネ。

 

 

まあ、面白いっちゃあ面白いんですけど、リテークですネ。

 

でも、この結果を笑ってもいられないですよ。80年代のアニメで、ハンドルを切る手の動き(手を交差させて回転させる動き)で、腕が3本になった動画(当然、人間が描いた)が放送されたことがあるらしいです。昔話じゃなくて現在でも、キツめな「作画崩壊」は似たような状況ですよネ。

 

動画を自動化する「無人動画」‥‥なんて期待している人もいるかも知れませんが、原画枚数を描きまくって、処理アルゴリズムが正常に処理できるようにしないと、無残な結果に終わります。動画工程は、清書する時にも、絵を動かす時にも、極めて「人間の処理能力」を要するのです。

 

ちなみに、既に8fps=3コマ均等に動かしたのちに、ピクセルモーションで24fpsに補完すると、キビしい部分はまだあるものの、相当マシになります。Dain-Appはこのジャンル(低いフレームレートを補完する目的。アニメ作画の自動中割り目的ではない。)の進化系と言えそうです。

 

 

ゆっくり動いている部分は、ミスなく「中割り」してますネ。‥‥あ、空との輪郭部分は、ちょっとブルブル震えて危ういですネ‥‥。

 

 

 

‥‥なので、60pを目指すのなら、最初からクリエイティブの人間が、60pを意識して作品を作るのが良いでしょう。

 

60pはものすごく難しいですよ。3コマうちでパタパタ動かしておいたほうが、ぶっちゃけ「様になり」ます。

 

60pでアニメの絵を動かすのは、アニメーターにとって前人未到の領域と言っても、大袈裟ではありません。

 

フルアニメーションを作りたいなら、最初から24fpsや60pの動きをアニメーターが作り出さないと、単に中枚数だけが増えた「チカラのない映像」になります。

 

3コマの動きが描けたからって、フルアニメーションで上手く描けるとは限りませんよネ。

 

ぐりんぐりんカメラが回り込んで背動で‥‥みたいな派手なカットは24コマのフルも映えますが、日常芝居で24コマや60pを自然に見せるには、相当の経験と知識が必要です。

 

でも、できないことはないと思っています。経験と知識が必要なら、積めば良いのです。‥‥今までだって、そうやって克服して自分たちのパワーにしてきたんだもん。できないことはないはずです。‥‥が、4KHDR60pでは、さすがに紙で一枚ずつ描くのは、もう無理ですけどネ。

 

 

 

私はDain-Appをむやみに否定しようとは思いません。使い所だと思います。

 

とはいえ、深夜枠のアニメを60pに変換する用途なら、Dain-Appはなんと悲劇的な宿命を負わされていることか。スマートアップスケーリングと中間フレーム画像補完に頼るアニメ業界になるのなら、もう自滅を待つばかりとも思います。

 

現場の作り手側も、Daim-Appの映像を見て、単に拒否反応しか沸かないのなら、既に発想力の老化が始まっているとも思います。確かに「ソープオペラ」は不快かも知れませんが、60pの動きの中に新たな可能性を全く見出せないのなら、過去の思い出と余生を過ごす御隠居様と同然です。

 

人間だって、能力の活かしかた次第じゃないですか。

 

マシンや技術も同じです。

 

バブル世代もロスジェネ世代も、ゆとりもさとりも、無名だろうがベテランだろうが、出自も経歴も関係なく、結局は「今、何ができるか」そして「未来、何ができそうか」が重要です。

 

アニメはこうあるべきものだ。‥‥と発想が固まったら、それは硬直が始まった死体と同じです。

 

生き続けるために、未来の空気を吸いましょう。

 

 

 

Dain-Appと自動中割りの共通した限界は、この先、突破できるのか。

 

コンピュータが自力で俳句を詠める(先人の詠んだフレーズの組み合わせでなく、オリジナルのフレーズで)ようになれば、アニメの絵が「なぜ、そのように省略され誇張されているか」を理解でき、絵も描けるようになると思いますが、そうはなりませんよネ。

 

そもそも「絵を描ける」ようにならないと、動画の中堅以上の技術を要する作業は無理ですよネ。

 

多分ね‥‥。AIがそこまでできるようになったら、AIは自我に目覚め、自我に悩み、恋もするだろうし、時には自分で死を選ぶこともありましょう。観念めいたことを言うようですが、人間が人間の心を揺り動かす絵を描けるのは、自我があるからです。そして、その自我は動画作業にも必要です。

 

アニメ絵は単純化されているから、コンピュータでも絵を作れるだろ‥‥というのは、絵を知らない素人の考えです。

 

実際に描いてみなよ、自分で。‥‥服のシワひとつ、初心者じゃカッコよく描けないからさ。

 

私の予測では、コンピュータ(AI含む)は、人間の表現力を期待する内容は無理で、単純な均等割りやタップ割りで済む範囲に限定されると思います。つまり、有力な作業力にはなるが、人間の能力と同等を期待しない、コンピュータ・AI向きの作業を「手分けして作業する」のが善き使いかただと感じます。

 

実際の話。‥‥After Effectsで、撮影も現像もやってるでしょ。撮影台にフィルムを装填したり台をハンドルで動かしたり、現像液で現像したりという手間は、コンピュータに任せたでしょ。その拡大版だと思えば良いのです。

 

表現の中核は人間が担う。

 

単純な作業はコンピュータがアシストして稼ぐ。

 

 

 

問題は、「単純な作業」と言われる中にも、人間の技術力の育成に必要な要素が多く含まれていることです。

 

それをコンピュータに任せると、基礎が形成できない人間ばかりが溢れる‥‥という事態も懸念されますよネ。

 

つまり、技術のスケーリングにおいて、ミッシングリンク部分が生じます。

 

かと言って、例えば今、撮影のスタッフを育成するのに、フィルム撮影台から現像まで実習させないですよネ。

 

ベテランや中堅が、2020年代以降の新しい育成法を考えないと、根性論だけに終始するアホな現場になります。

 

40〜50代の人間は、昔の殻に閉じ籠るのではなく、積極的に新しい技術を「肯定」して、自らの経験値と合体させて、後進の指導と育成にあたるべきだと思いますが、いかがでしょう。

 

新しい技術が出てきたら、無下に否定するのではなく、自分の思考における新しい論点にするくらいの気概が必要だと、私は思います。

 

 

 

でもまずは‥‥。

 

自動中割りとカットアウトの差ぐらいは知っておくところから始めた方が良いです。

 

カットアウトはそれこそAfter EffectsCS6でもできるんだから、「機材がないからできないし知らない」なんてウソです。

 

私はミラードライブドアのMacG4の頃から自宅でカットアウトの自己研究を開始してましたし。

 

じゃないと、都市伝説まがいの「自動中割りもうすぐ実用化説」に惑わされますよ。

 

 

 

 

 


関連する記事

calendar

S M T W T F S
  12345
6789101112
13141516171819
20212223242526
27282930   
<< September 2020 >>

selected entries

categories

archives

profile

search this site.

others

mobile

qrcode

powered

無料ブログ作成サービス JUGEM