ポートレート専用モデルの実力は？

HitPawのPVや体験版で誰もが驚いた機能ではないでしょうか。

低解像度のぼやけた人の顔が、髪の毛の１本までわかるほどに鮮明になるのです。




　これですよ！

　やっぱり藤岡氏はカッコイイです。


　全フレームこのクォリティなら

　買い間違いなしの機能です。
　

©石森プロ/東映　　　　　



もちろんソースからここまで読み取ることは不可能です。

細部はAIが創作したディティールですが

ここまで情報量が足されると動いたときに見ごたえありそうです。



アニメ専用モデルではがっかりしましたが、こっちがあればまあ、いいかも！







なんて思っていた時期が私にもありました。

---

さっそく変換開始。　

・

・

やっぱり遅い・・・


若干アニメ専用モデルよりかは早い？

・

・

３０分番組を７時間弱で終了。


観てみるとグレインノイズは無いので、

おそらくジェネラルデノイズと同様の処理は一度通している様子。



TVAI の AI Modelで例えると、

Proteusで SHARPEN か RECOVER DETAILS をやや強めみたいな。

ちょっとザラついた画質で細部がチリチリする感じがあります。



で、肝心の顔周りについては、


おっ、なんかチリチリするけどまあ、これくらいなら・・と思っていたら

すぐ顔がブレたようになったり明度が変わったりするフレームがあるのに気付きました。


ようするに顔がときたまパカパカ明滅するわけですよ


該当部分のシーケンスを並べてみます。




　分かりますかね？

　フレームごとにシャープさや明るさ等

　揃っていません。

　チカチカ明滅します。　

　これが気になります。
　



　連続したフレームです。

　こちらはマスクの質感がまるで違います。

　ツルツルになってますね。

　これが数フレーム交互に繰り返されるのです。


　動画だとかなり目立ちます。　




　これなどは

　上側はボケ気味、

　下側はペッタリしたイラスト調になってます。

　これも別に変換前と変換後ではなく

　連続したフレームです。

　普通に再生してると

　高速振動みたいに見えます。
　　



顔の周辺部にも影響が出ていて

衣服の襟元の柄がずっとピクピクしていたり、

奥の背景の顔周辺の明度がチカチカしたりしました。

背景のモブでピントがボケてる人物も顔だけ妙にクッキリしたりとかもね。


元々髪の毛１本まできれいに動かせるとは思ってないです。

そのへんはチラチラするんだろうなとは思っていましたが、

結果、広範囲で見づらくなる箇所が多いため、

この機能も多用するのは正直苦しいと言わざるを得ません。




スマホの顔加工アプリのような”お遊び”機能だったのかな？

っていうか処理の中身って実はスマホアプリそのものなんじゃ・・？ｗ

---

でも、PVではうまくいってるけど・・・


HitPawのプロモ映像ではスポーツ中継や女性の映像をクリアに変換していました。

もちろんうまくいった例だけをチョイスしたんでしょうｗ　PVですからね。

自分が変換した動画はあんなにうまくいっていません。

（本アプリをYoutubeで紹介している方の動画でも同じ症状が見られます）


何が違うのかを考えて、思い当たったのがフィルムとビデオ。

こちらで試したのはフィルム作品、　PVはどちらもSDビデオ映像でした。

フィルムグレインが補正に影響してるのかもしれません。


試しにビデオ作品ディープスペースナイン の映像を一部変換してみたところ、

割と良好な結果が得られました。


顔面がパカパカするようなことはなかったのですが、

やはり、顔をコピペで乗せた感じは残っています。

輪郭線の変形とか。

古いディープフェイク動画を思い浮かべてもらえればわかると思います。



でも違和感はありますがフィルムよりかはビデオ映像の方が相性がいいようです。



※その後、もう一本ビデオ作品を変換してみましたが、やはり絵としてはおかしいところが目立ちました。

---

使い道は無いのか？


こっちが勝手に想像していたものと違っていたので

なんかいい使い道がないかと考え中です。

最近のAIの進歩は目覚ましいですからね。

てっきりスゴイ技術なのかと期待しちゃってました。


単純に多少の不具合は良いから細部のディティールが乗った映像で観たいというなら

全然大丈夫なんですが・・。

それは困るというなら不具合の出る条件を探って避けるしかありません。

イヤイヤ、これってバグだろ！　とは思いますがねｗ

HitPaw はアップデートで対応してくれるのかな？

現状のままでリリースしちゃってる時点で不信感のほうが強いですけど。


ひとまずはカットごとに内容を見て判断していくしかないと思います。

（実験目的以外では今回みたいに１本丸々変換はやるべきでは無いですｗ）


たとえば、顔のアップには使ってはダメです。

仮面ライダーの演出でたまにある顔のオーバーラップとかは完全にアウトです。

ミディアムショットより引きの絵でボケた顔周りには有効。

動きのあるカットだとよりマシと思います。（顔周りのズレ・ブレが誤魔化せるので）



いくつか他にも試したいことはあるんですが、

何をするにせよ変換にかかる時間が異常に長いので。



家族の古い記録映像とかでSDサイズ以下のビデオ映像で、

それを目鼻程度でもくっきりサルベージしたいとかであればまあ、そこそこいけるんじゃないかと。

しかし、そのためだけに買うのにはやっぱりお値段がねえ。




あくまで自分の勝手な想像・・

メーカーの営業サイドが、

静止画用AI補正が出来たンならよぉ～、バッチ処理で連続変換すれば動画用として売れンじゃん！

みたいなノリで作らせたのでは？とｗ

フレームの連続性を考慮していないのでいたるところがパカパカします。






ただ、コンセプトはアリだと思うんですよ。

画像系AIの Stable Difusion は写真のような画像を生成できますし、

ディープフェイク技術も現在は素人には見破れないくらい自然な映像を作れています。

フィルムやビデオに記録された以上のディティールをAIで拡張する技術ができたら・・・・


これまでのリマスターとは違う概念で、

SFXを入れ替えたスターウォーズ特別編みたいな位置づけのリニューアルマスターも実現可能では！

なんて期待しちゃうのです。





そして、これらの商品、





ついにここまで来てしまった仮面ライダーパッケージソフト。


PVなどの”最高画質にして最後の映像パッケージ”のコピーが、最終回みたいで寂しいです。


フィルムの映像を磨きに磨き抜いて、ついに限界なんでしょうね。


残念ながらオリジナルフィルムは今後は劣化していく一方で、

どれだけ手間とお金をかけても劣化を遅らせることしかできません。


反対に再生プラットフォームは４K、８K、更に進歩していきます。

（自分の子供の頃は２Kですら想像外でしたｗ）


もし今後、映像をAIで補完・拡張できれば、ソフト側もまだまだこの先があるんじゃないかと！




ホントにこれが最後じゃないですよね！？　東映さん