【バックナンバーインデックス】

　東芝REGZAのCMに福山雅治が登場していることが話題になっているが、そこでアピールしているのが、2008年の秋冬モデルのREGZA ZH7000/Z7000/FH7000に搭載した超解像技術。

超解像技術を搭載した、REGZA ZH7000シリーズ

　“超”の響きがややセンセーショナルだが、この“超解像”というキーワードは、採用第一号の東芝が考えたものではなく、画像電子学会などの映像系学術界で用いられる一般技術用語である。だから、ソニーやシャープからも独自の超解像技術を採用した製品が出てくる可能性もあり、実際、東芝も独自の超解像技術に対し「レゾリューション・プラス」というブランド名を付けている。

　では、この「超解像」とはどんなテクノロジーなのか。今回の大画面☆マニアでは、この「超解像技術」にスポットをあてた。

　超解像技術の本質を解説する前に、ここにきて、超解像技術が急激に注目されるようになったのか、その理由について簡単に述べておこう。

　現在、テレビ製品はハイビジョン化が急激に進み、中堅クラスでは既に大半がフルHDと呼ばれる1,920×1,080ドット解像度になっているが、表示映像の多くがこの解像度に満たない。

　DVDビデオは720×480ドットなのでフルHDパネルには面積比で6倍に拡大されて表示されることになる。逆にいうと、このケースでは、フルHDパネルの1画素は、表示映像全体の1/6の情報しか表示できていないことになる。

　“ハイビジョン”放送のデジタル放送も、地上デジタル放送は1,440×1,080ドット解像度の映像を表示時に横幅を1.33倍に拡大して1,920×1,080ドットとしてから表示している。BSデジタルは1,920×1,080ドットが多いが、1,440ドットの放送局も存在する。

　ブルーレイソフトの映像は1,920×1,080ドットが主流だが、それでも、この先、液晶パネルは4K2K(4,096×2,160ドット)などへと進化すると見られているから、4KパネルではフルHDの映像ですら拡大して表示する時代がおぼろげに見えている。

　つまり、現時点においても、そして将来的にも、高品位に映像を拡大する技術が重要になってくるというわけだ。

　これを最も簡易的に実現するのがオーソドックスな「解像度変換」技術だ。

　拡大方向への解像度変換には様々な手法があり、各映像機器メーカーの独自ノウハウがあるのだが、最も基本的な手法は、変換元の低解像度映像のピクセルを、変換後の高解像度なピクセルの座標系を基準にして複数個参照し(実際には多くが重複する)、それらのカラー値から変換後の高解像度ピクセルを計算する方法が用いられる。

　今でもよく用いられるのがバイキュービック法(bicubic convolution)だ。これは変換後の座標系基準で4×4の16点のピクセル値を変換元より取り出し、これらの取り出した16点の値に重み付けをして加重平均的な計算を行ない変換後のピクセル値を決定する。補間式には「f(t)=sin(π・t)÷π・t」を用いるのが一般的だが、映像プロセッサなどではこれを三次多項式で近似した近似式が用いられることもある。バイリニア法ではぼけてしまうような輪郭表現においてもバイキュービック法では比較的クリアな輪郭が維持される特徴がある。

簡易的な拡大	バイキュービック法

　こうした解像度変換技術は解像度の高いパネルで、いかにぼやけさせないで低解像度を表示させるかと言う技術になる。この方法では表示映像の情報量は入力映像原信号から変化しない。

　この解像度変換技術を一歩進ませ、表示映像の情報量を入力映像原信号から増加させつつ解像度変換を行なうのが超解像技術だ。

　「入力映像原信号からどのようにして情報量を増やすか」が超解像技術の中核となる部分であり、このアルゴリズムに各社独自のノウハウがあるわけだが、基本的な考え方は似ている。

　まず、ある入力された映像は、実際にはもっと高い解像度の映像であったのに、撮影されたり、画像処理などによって“低解像度化されて今の解像度になった”と仮定する事から始まる。つまり、一段高い解像度の映像が低解像度処理によって今の解像度になったとみなすのだ。

　具体的な例でいうと、表示する映像がDVDビデオの720×480ドットだったとすれば、この映像は、より高い解像度の映像が720×480ドットに低解像度変換されたものと見なす。逆にいうと、720×480ドットの映像の1画素は、その「より高い解像度の映像」の複数画素の情報が丸められているとみなせるわけで、1画素に落ち込んでしまった、その架空の高解像映像の画素情報を復元する技術が超解像技術ということになる。

　超解像技術は、あえて難しくいうと「画像に含まれる情報のうち、入力画像の標本化周波数で決定されるナイキスト周波数よりも高い周波数成分を復元する技術」ということになる。

　ここでいう「周波数」というのは画像に含まれる模様の細かさ、だと思えばいい。

　例えば、テーブルに置いてある白と黒に交互で塗られた格子マスからなるチェス盤を、そこそこの距離からカメラで撮影したとしよう。この白と黒の模様が本来は1,920×1,080ドットの解像度がないと正確に記録できなかったとして、解像度が720×480ドットしかないカメラでこれを撮影したとすると、各撮影画素はチェス盤の白と黒の画素を両方を捉えてしまい、白と黒を正確に記録できずに灰色として捉えたり、あるいは白と黒のどちらかを多く捉えているかの割合で不正確に白、あるいは黒という画素値になってしまったりする。

　この例で行くとこの情景を撮影するのに必要な周波数が1,920×1,080ドットであり、白、黒、灰色の大ざっぱな画素情報になってしまった720×480ドット映像を1,920×1,080ドットに戻すときに正しく白黒の格子模様に戻そうとするのが超解像技術になる。上であえて難しく言った文も、意訳すれば、そういうことを言っている。

　この話を図解すると下図のようになる。

「超解像」技術の概念(東芝提供)

　この図はある映像の横方向の画素の輝度分布(水平走査線)だと思ってもらいたい。

　もともとの映像が最上段の「入力画像」の左側のような波形で表される輝度変化だったとして、「A」のタイミングでサンプリングしたとすると、「★」を付けた“凹み”の部分の情報を失ってしまう。

　この映像を線形補間を行なう、ごく普通の線形フィルタで拡大してしまうと(図の中段)、「A」のタイミングで見失った隙間に隣接する2点間に適当な中間値(線形補間値)が差し込まれることになる。この例でいえば、先ほど欠落した凹みの部分が、窪まないで滑らかに繋がれてしまう。この凹みの部分が前述のチェス盤の例で行けば、白マスと黒マスの境界線だったかもしれないのに、白と黒の中間値の灰色で繋がれてしまい、映像としてはぼやけてしまうことになるのだ。

　この隣接する2点間に補う値を生成する際に適当な非線形関数を使うことで“凹凸”を意図的に生成することもできるが、それが失われた情報を復元しているという確証はなく、自然画像の解像度復元において正確性を期待できない。

　そして、図の下段の超解像技術では、ある画素とある画素の隙間に着目した場合、その隣接する複数画素情報の変化からその隙間の情報を推測してやる。

　ここでいう「隣接」とは図に描かれている隣り合う部分のことだけでなく、隣接する別の走査線も調査対象とする。1つの前のフレームと現フレームが似ている場合も多いので、過去フレームをバッファリングし、過去フレームまでを探索対象とするアイディアも考え得る。ここの部分には各社、それぞれの方法で取り組んでいる。

　超解像の概念と「何をしたい技術」かが分かったところで、この技術を世界で初めて実装した東芝は、どのような実装を行なったのか。その点についてみていくことにしよう。

　この件に関しては超解像技術の基礎研究を行なった松本信幸氏(東芝 研究開発センター マルチメディアラボラトリー 研究主査)や、REGZAに実装するにあたってプロセッサの開発を担当した浪岡利幸氏(東芝デジタルメディアネットワーク コアテクノロジーセンターAV技術開発部 第4担当主査)に伺った。

東芝、研究開発センター、マルチメディアラボラトリー、研究主査、松本信幸氏	東芝デジタルメディアネットワーク、コアテクノロジーセンター、AV技術開発部、第4担当、主査、浪岡利幸氏

　東芝のREGZAに搭載された超解像技術は「再構成法」(Reconstruction Process)という手法になるという。

　取材時の資料をそのまま引用するならば「再構成型超解像処理では、まず初期の高解像度画像を設定し、そこからカメラモデルに基づき観測画像である低解像度画像の各画素値を推定する。推定された画素値と実際の観測画素値の誤差を最小にするように高解像度画像を更新する。収束するまで更新処理を繰り返すことにより、高解像度画像を求める手法が再構成型超解像処理である」とある。

　これだけだとわかりにくいので、かみ砕いて順を追って解説しよう。

　まず、入力された変換元の映像(低解像度映像)は、これよりも解像度の高い映像(あるいは実際の情景)をカメラで撮影した結果として生成されたものと考える。

　つまり、入力映像が720×480ドットならば、実際の情景を解像度720×480ドットのカメラで撮影したと考える。この時、カメラの撮像素子(例えばCCD)の一画素は、対応する情景の面積平均情報をその画素値として決定する。

　この撮像素子がどういう面積平均計算をして低解像度の画素値を決定するかはCCDの種類や光学系の違いで一概には決めつけられないが、あえて仮の撮像素子モデルを作り、「その仮の撮像素子で撮影したからこういう低解像度映像になったんだ」と決めつけることにする。ここの是非は、あえて問わない。

　REGZAの場合は、最もシンプルな一次元線形フィルタを、縦横、二次元的にかけた撮像素子モデルを仮定している。

REGZAの超解像技術で採用した撮像素子モデル。最も基本的なフィルタ。このフィルタを工夫すればまた違った映像にもなるはず。そのあたりは今後の進化にも期待できる

　理論的には、低解像度映像に撮像素子モデルの逆処理を行なえば高解像度映像に戻せることになる。

　もちろん実際には仮に決めた撮像素子モデルが正解ではないし、たとえ撮像素子が正しくても逆変換した際の解が正しいという保証もない。例えば、ABCDの4要素の平均値が10だと言う答えがあったとしても、A=B=C=D=10もABCDの平均値は10だし、A=2,B=18,C=16,D=4もABCDの平均値は10だ。

　では、どうやって正しい解を導き出すのか。

　映像の場合は、ある画素の値は、その周辺画素との関係性が深いという特性を利用して(期待して)求めていく。そして、周辺画素情報から推測して「仮の解」を求めたあと、この解の正当性を検証する。正しくなさそうならば、その失敗を活かしてさらに別の「仮の解」を求める(フィードバックさせる)。この処理を繰り返して正解に近づけていく。

　基本理論は大体分かったと思う。では実際はどのような実装になっているのか。

　下図を見て欲しい。これも映像中の1つの水平走査線をイメージしてもらいたい。図中の高さは輝度量に相当する。

REGZAに採用された超解像技術の実装概念フロー

　まず入力の変換元の低解像度映像をバイキュービック法を用いて仮の高解像度映像を求める。

　そしてこれを、前述した、仮の撮像素子モデルを用いて低解像度映像に戻す。ここで、その解像度は、入力の変換元の低解像度映像と同じになるが、拡大したアルゴリズムと縮小したアルゴリズムが異なるので2つの映像は厳密には一致しない。

　ここで、入力の変換元の低解像度映像と、撮像素子モデルを用いて戻した低解像度映像を、各画素単位で比較していく(差分を求めていく)。(右図の[1]の部分)

　もし、両者の差分がゼロならば、バイキュービック法で求めた仮の高解像度映像の画素値は、正しく、超解像処理されたと見なすことができ、これを採択する。

　もし違った場合は、両者が一致するように、仮の高解像度映像側の方の、バイキュービック法で求めた補間画素(復元画素)の方を補正してやる。

　大ざっぱにまとめていうと、もし入力の低解像度映像を正しく高解像度化が行なえたとするならば、それをもう一度低解像度に戻したら入力の低解像度映像と一致するはず。一致しないならば、それが一致するように、算出した補間画素の方を修正してつじつまを合わせる、ということだ。モンテカルロ法の数値計算を彷彿とさせる「トライ&エラー的な手法」だといえる。

　これをブロック図として表したのが下図になる。こうしたトライ&エラーによる数値計算の場合は、何度も反復処理をした方が正解に近づくわけだが、その都度計算量も掛かり時間も掛かる。

　そのため今回のREGZAの超解像技術では、フィードバックして補正する処理は1回しか行なわない実装としている。

REGZAに採用された超解像技術の実装をブロック図で表したもの	REGZA ZH/Z/FH7000の映像回路メタブレインプロ(左)。超解像LSI(右)を追加している

　今年のCEATEC2008で公開された「Cell TV試作機」では、この超解像技術そのものがソフトウェア実装になっているため、かなりの反復回数で補正することも可能だと東芝はいう。

　録画済みの任意のビデオファイルに対して、トランスコードするような感覚で、非リアルタイムのオフライン処理で指定した深度の超解像処理を適用する、といった活用も出来るはずだ。実際、Cell TVでは、そうした機能の実装に向けての検討も始まっているという。

CEATEC JAPAN2008で公開された2009年発売予定の東芝のCELLプロセッサ搭載テレビ。様々な高画質機能や便利な機能をソフトウェアアップデートの形で追加できる可能性を秘めている

■ 万能ではない超解像技術
　〜映像処理の適材適所を推し進める東芝

　もちろん、超解像技術も万能ではなく、映像全体に一様にかけてしまった場合、ディテールの復元では止まらず、ノイズを増強してしまうこともある。

映像を解析して超解像を適用するに相応しい箇所を特定する

　そこで東芝のREGZAの実装では、映像の内容を分析し、「平坦部」「エッジ部」「テクスチャ部」の3種類の情報として分類している。

　新REGZAでは映像認識ロジックを、従来の輝度ヒストグラムだけでなく、周波数ヒストグラムを導入することでより正確な映像分析/認識ができるようになっている。

　「平坦部」とは、特定の周波数領域や、まとまった輝度領域の度数が高く分布している部分のことで、比較的、色分布がなだらかな空、ぼけた背景などがこれに相当し、映像中ではおもにグラデーション表現が主体となる領域のこと。ここは超解像処理を行なっても意味がないので、パワー質感リアライザーなどの階調補正関連の画像処理のみを適用する。

　「エッジ部」は線分表現や輪郭表現に相当する部分であり、ここもあまり超解像処理を適用する意味がない。この部分についてはREGZA 7000系で新搭載となった新LTI(Luminance Trangent Improver)回路で過強調を控えつつ輪郭を鮮明化する処理を適用している。

　「テクスチャ部」は映像の周波数の高い部分であり、ここに、より精細なディテールが眠っていると推定し、超解像処理を積極的に適用する。

REGZA「レゾリューションプラス」ONのイメージ画像	REGZA「レゾリューションプラス」OFFのイメージ画像

　もともと、メタブレインは、シャープネスとソフトネスの制御を輝度ヒストグラムをキーにして適材適所で使い分けていた。今回の超解像技術の適用にあたっての、映像を3種類の情報に分類するアイディアも、その発想と基本的には同種のものだ。ただ、その3種類の分類にあたっては輝度ヒストグラムだけでは難しいので、新たに周波数ヒストグラム取得のロジックを実装している。

　なお、東芝では、この超解像技術の適用レベルをテレビの視聴環境照度に合わせてリアルタイム制御する「おまかせドンピシャ高画質・プロ」という自動映像調整機能も実装した。その効果については、いずれREGZA 7000そのものの評価時に触れることにしよう。

線分表現、輪郭表現などの先鋭化に貢献する新LTI回路	REGZA 7000型番に採用された新世代メタブレイン「パワー・メタブレイン」のブロックダイアグラム	「おまかせドンピシャ高画質・プロ」による超解像技術の適用レベルを視聴環境に合わせて制御する

□関連記事
【9月18日】東芝、超解像で画質を向上したREGZA最上位機「ZH7000」
−VARDIAへのLANダビング可能。デザインモデルFH7000も
http://av.watch.impress.co.jp/docs/20080918/toshiba3.htm

　超解像技術は各社で進められており、今後、各社の薄型テレビに採用されていきそうな気配だ。

　まだ、全てのメーカーが技術開示をしたわけではないが、現在発表されているもののいくつかを紹介しておこう。

CEATEC JAPAN 2008の日立ブースで公開された超解像のデモ

　まずは薄型テレビWoooシリーズを手がける日立製作所から。

　2006年に日立製作所が発表した超解像技術は、複数フレームに対して相似性を調査して相似性のあるフレーム同士で位置合わせを行ない、各画素の時間的変化を把握して、失われた高解像ピクセルを予測生成するアルゴリズムであった。

　2008年のCEATECでは、この技術をベースに、映像フレーム中の解像度を認識して、そのエリアごとの適切なレベルで超解像を適用していく技術デモを公開した。

　デモでは、HD映像の中にSD映像がスーパーインポーズされているような特殊な映像を表示し、HD映像とSD映像のそれぞれが適切な超解像処理が成されている様を示していた。デジタル放送でも、番組そのものはSD映像で、放送時にアップスキャンコンバートしてHD放送しているものがあるが、そうした映像にも的確な超解像処理が出来るとしている。

日立ブースで公開された超解像のデモ	HD映像の中にSD映像がスーパーインポーズされている映像でもそれぞれを的確に認識して適切なレベルの超解像処理を適用できるとしている

□関連記事
【9月24日】日立、テレビ向けの超解像技術を開発
−SD/HD混在映像も適切に高精細化
http://av.watch.impress.co.jp/docs/20080924/hitachi.htm

　2008年、NECエレクトロニクスも超解像技術を発表している。詳細は明らかにされていないが、複数フレームではなく、単一フレーム内を探索して、超解像処理を行なうタイプの技術としている。

　NECエレクトロニクスでは、テレビ向けの高画質化ロジックとしてだけでなく、携帯電話で撮影した写真などの自動補正化、高画質化の手段としても応用したいとしており、同社では、この技術のIPコアを採用したASIC製品の出荷を早ければ2009年夏より開始する予定だ。

NECエレクトロニクスの超解像技術のブロックダイアグラム	NECエレの超解像技術の解説

□関連記事
【5月14日】NECエレ、低解像度映像を高画質化する「超解像」技術
−ワンセグやSD放送を高画質化。ASICを2009年出荷
http://av.watch.impress.co.jp/docs/20080514/necel.htm

　テレビの高画質化ロジックではなく、画像処理ソフトウェアとして超解像技術を精力的に開発しているところもある。それが米MotionDSPだ。

　MotionDSPの超解像技術はオフラインで実行されるソフトウェア処理タイプのものになる。

　映像の中から相関性の高い連続するフレームを選びだし、そこからブロック単位ではなく、ピクセル単位に近い細かさで映像の動きベクトルを検出する。そして、ピクセル単位の動きを追跡し、各フレーム間のその追跡ピクセルの変化情報から、欠落している高解像度ピクセルを推測していく。

連続する動画の一部を切り出した例。水色の□の文字に注目。カメラが微妙に揺れているため、同じ文字を撮影しているにもかかわらず、撮影された低解像度の文字の潰れ方がフレーム間で異なる。ここに時間方向に情報が眠っていると考えるのがMotionDSPの超解像技術

複数フレームから正確な動きベクトルを検出して、欠落しているピクセルを補い高解像度化する

　MotionDSPの技術は、時間方向に探索を深くかけるタイプの超解像技術になるが、動きベクトルを精密に把握する特徴が、結果的に、撮影時にカメラ解像度の関係で取得できなかったフレーム間の欠損画素をも復元することに繋がり、撮影時の細かい振動による時間方向のエリアシングを低減してくれる。

　あたかも映像のスタビリティが上がり、フレームレートが向上したような効果も得られる。そのため、観賞用映像の高画質化だけでなく、防犯用のセキュリティカメラからの映像の解析にも効果があると期待されている。

オリジナル映像	MotionDSPの超解像技術によって高画質化された映像

実際の動画に適用した例。左が変換前、右が変換後。解像感の向上だけでなく、映像のスタビリティ向上と時間方向のエリアシングの改善にも注目。【動画】

　また、ビクターは、CEATEC JAPAN2008で、映像内のオブジェクトごとに輪郭強調やコントラスト補正を行なって、映像の精細感を増強する「i-Shadow」機能を公開した。これは一見、超解像技術のように思えるが、ビクターでは、「そうではない」と否定する。

ビクターのi-Shadow機能は「GENESSA PREMIUMII」に搭載される

　薄型テレビの高画質化技術として、ここ数年は、液晶映像の残像低減技術として「倍速駆動技術」の実装が一大トレンドになってきた。多くのメーカーが2倍速駆動を採用し、ビクターが3倍速駆動、ソニーが4倍速駆動といった倍速数を増やす進化を進めてはいるが、実質的には、このあたりが費用対効果(実装した技術コストと得られる画質のバランス)の面で限度だといわれている。

　急速に進む映像パネルの高解像度化にあって、従来の「ただの解像度変換技術」では高画質を維持しにくくなっているのは明らかだ。

　薄型テレビの高画質化技術の次のトレンドは、今回紹介した「超解像」技術となることだろう。今後の動向に注目していきたい。

(2008年10月30日)

[Reported by トライゼット西川善司]

西川善司	大画面映像機器評論家兼テクニカルライター。大画面マニアで映画マニア。本誌ではInternational CES他をレポート。僚誌「GAME Watch」でもPCゲーム、3Dグラフィックス、海外イベントを中心にレポートしている。映画DVDのタイトル所持数は1,000を超え、去年からはBDのコレクションを開始したようだ。次世代DVD一本化を喜ぶユーザーの1人。ブログはこちら

AV Watch編集部

Copyright (c)2008 Impress Watch Corporation, an Impress Group company. All rights reserved.