杉山 賢二

超高精細画像(4K/8K)映像システムの実現により、異なった画像フォーマット間での画像変換やその画質改善が盛んに検討されている。また、伝送での負担を軽減するため、一旦ダウンし、復号化後にアップする方法も検討されている。それらでは、HDTVを4Kディスプレイで表示するなど、アップスケールにおいて如何に高画質にするかが重要となる。本報告では、まずスケーリング(画素数変更)における変換比やフィルタ次数の違いなどによる画質の違いを主観評価実験で確認する。さらに、スケーリングされた画像に鮮鋭化フィルタをかけることで、残存周波数帯域内の高域を強調し主観画質を改善する。その際のフィルタ周波数特性について検討する。主観評価実験は、原画との比較の二重刺激で行うが、鮮鋭化で主観評価が改善されることが分かった。これは、消失した高周波数成分を、それより低い周波数成分の強調で補うことができることを意味する。

HDR (High Dynamic Range)画像のHDR状態での主観画質評価方法として、著者らはリニア16bit HDRデータをBT.709規格に変換し、10bit画像で有機ELディスプレイ(放送用マスターモニター)で提示し実験した。しかし、一部画像に問題があったので、再実験を行った。一方、一般的な液晶ディスプレイによる評価では、輝度平均値の基づくトーン変換を施した画像で実験してきた。今回、トーン変換変換特性を見直し、有機EL評価に近い結果が得られる方法を探った。二ーポイントを適切に設定することで、有機EL評価との相関が0.96となった。一方、客観評価手法として、コントラスト感度の2次元周波数特性を乗じるHDR画像対応のWSNRを求めてきた。しかし、この手法はFFTが必要なので、特定の周波数のコントラスト感度のみを用いる簡易な手法をASNRをベースに検討した。6cpdでの感度により有機EL評価との相関がWSNRと同等となった。

超高精細(4K/8K)映像では画面高の1.5〜0.5倍程度の超短距離視が可能になり、画像の中央と周辺で見え方が大きく異なる。また、通常の映像では注視点は中央に偏り、この傾向は視距離が短いほど顕著になる。これらより、画像全体を均一に符号化するのではなく、周辺部の情報量が少なくなる様に符号化するのが合理的である。本報告では、可変リサンプリングにより画像自体を変換し、被符号化画素数を減らす方法で、処理量や符号化効率について検討した。画像変換は画素の見え方をそのまま反映した2次元型と、処理が容易な垂直水平独立型を比較した。さらに、独立型で削減が不十分となるコーナーの情報量をコントラスト変換による量子化制御で減らす方法も検討した。実験結果から最大35%程度のビットレート低減と50%程度の符号化処理量の軽減が確認できた。

4Kなど超高精細画像では、画面高の1倍程度の超短視距離でも十分な解像度となり、高い臨場感が得られる。しかし、そのような超短視距離では、画像の中央と周辺で見え方が大きく異なるので、画像全体を均一に符号化するのは合理的で無い。これに対し、著者らは視覚上の画素サイズに応じて画像のフィルタリングや量子化制御を行い、その符号化効率を調べてきた。しかし、量子化パラメータの制御は、実際の視覚特性に基づくものではなかった。画像の見え方(視距離)と量子化パラメータの関係を主観画質の観点から調べる必要がある。本報告では、視距離と量子化パラメータを変えて主観評価実験を行った。その結果より、所定画質が得られる視距離と量子化パラメータの関係を求めた。その関係を用いて超短視距離視に適した符号化制御を行い、最大15%符号量が削減できることを確認した。

HDR (High Dynamic Range)画像の主観画質評価は、評価対象処理がLow DR画像へのトーン変換であれば、通常の画質評価で十分である。しかし、HDR画像符号化などの画質劣化を評価しようとした場合、HDR画像専用の画質評価が要求される。これに対し、著者らはニー特性を使ってトーン変換を施した8bitデータを通常の液晶ディスプレイで提示して実験してきた。これにより評価が可能であるが、十分な方法とは言えず、HDR画像をより忠実に表現できる表示デバイスと環境が望まれる。これに対し、リニア16bit HDRデータをBT.709規格に変換し、10bit画像で有機ELディスプレイ(放送用マスターモニター)で提示し実験した。暗室での提示で、トーン変換無しにHDR画像に対して主観評価実験ができたが、リニア平均輝度が0.4%程度の非常に暗い画像では、適正な評価が容易で無いことが分かった。

可視化を必要とする情報の一つに，曲線や曲面の曲がり具合を端的に表す形状特徴量の曲率がある．曲率を可視化する際には，一般に曲率の値と対応させたカラーパレットで可視化する．しかし，現在広く使用されているカラーパレットでは曲率と色の組み合わせが直観的でない可能性がある．本研究では，曲率と色の組み合わせが最適となる組み合わせを実験により評価し，決定する．ここで，曲率は角度を基に算出されることに着目し，角と色との関係を主観評価実験により評価する．実験では色から連想する角と，角から連想する色を評価し，角に対する色を決定する．そして，従来のカラーパレットを使用した配色等との比較実験を行う．

動画像フォーマットとしてフレーム単位でRGBを切り替えるシーケンシャルカラー方式が提案されている。この方式を実用化するためには、RGB画像への変換において動き補償による欠損色プレーンの補間が必要である。フレーム毎に色プレーンが変化するシーケンシャルカラー画像の動き推定では、同色は3フレーム間になるので、速い動きに対応するためには異色間の動き推定が必要になる。一方、異色間でも1フレーム間と2フレーム間では色が異なるので、必ずしも1フレーム間が適当でない。そこで、同色間も含めて3種類のプレーン関係から得た動きベクトルから最適なものを選択する手法を提案した。実験により、動き補償変換画像のPSNRや画質が改善されることが確認できた。

画像リサイズにおいて超解像と呼ばれる高画質化処理が研究されている。著者らは方向適応処理によりジャギーやエインギングを軽減する手法を検討してきた。一方、アフィン変換など幾何学的画像変換も、部分ごとに倍率が異なるリサイズ処理であるが、適用し難い超解像処理も多く、高画質化はあまり検討されていない。まず、高次フィルタと線形補間を組み合わせて、空間周波数特性と柔軟性を両立させるリサンプリング手法について検討する。次に、縮小時に生じるエイリアス成分をプリフィルタで抑圧する手法について検討する。そして方向適応補間を用いてジャギーを軽減する方法ついて検討する。なお、幾何学的画像変換の例としては、短視距離での見え方に応じた画像縮小拡大を用いた。実験の結果、ジャギーが少なくなり、PSNRも改善できることを確認した。

HDR(高ダイナミックレンジ)画像はγ補正なしの線形量子化で1画素(サンプル)16bitを要する。一方、放送用映像規格はγ補正(γ=0.45)を伴った10bitであるが、1画素1バイトでないのでファイルシステムで扱い難い。そこで、ファイル格納に適したHDR画像形態として、4画素を4バイト(8bit×4)で表現するレンジ符号化を提案した。このデータは16bitの線形量子化画素値に簡単に変換できる。今回は、そのレンジ設定を被符号化画像に適応させることで、高画質化する手法を検討した。レンジ数は16のままで、ヒストグラムの高い画素値のレンジにより狭いレンジを割り当てる。HDR画像評価に適したLPSNR (Local Peak Signal to Noise Ratio)評価で、暗い画像を中心に最大1dB程度改善でき、γ補正10bit画像と同等の品質となることが確認できた。

4k(4096x2160)画素など超高精細画像では、画面高の1倍程度の超短視距離でも十分な解像度となり、高い臨場感が得られる。しかし、超短視距離では、画像の中央と周辺で見え方にかなり差があるので、画像全体を均一に符号化するのは合理的で無い。そこで、視距離を画面高と同一とした場合の視覚上の画素サイズに応じて、画像位置により周波数帯域制限やコントラスト変換、さらに幾何学的画素数変換を行い符号化効率を調べた。符号化方式は、H.264のほか超高精細画像用として期待されているHEVC方式についても実験した。また、符号化処理は4k画像の4分割処理を前提にHDTVを4パターンで処理・符号化し、ビットレートを合算した。実験結果から10%から25%程度ビットレートが低減でき、特にプリフィルタを施した幾何学的変換で大きな効果が得られることが確認できた。

4k(4096x2160)画素など超高精細画像では、画面高の1倍程度の超短視距離でも十分な解像度となり、高い臨場感が得られる。しかし、超短視距離では、画像の中央と周辺で見え方にかなり差があるので、画像全体を均一に処理するのが必ずしも合理的で無くなる。そこで、近距離視点において平面画面上の1画素の大きさが、画面の位置によりどの程度変化して見えるかを計算した。この変化の主観画質への影響を調べるため、階調性低下や白色ノイズなど基本的な劣化を視覚上の画素面積で変化させた画像を用意し、主観画質評価実験を行った。その結果、平均的に劣化させた画像より高い評価が得られることが分かった。さらに、画素サイズ係数で画像位置により周波数帯域制限やコントラスト変換を変え、符号化効率を調べた。実験結果から10%から30%程度ビットレートが低減できる可能性が確認できた。

画像スケーラにおいて、ジャギー軽減による主観画質向上を主目的とした、方向適応補間が検討されている。そこでは、エッジ部での方向検出処理と検出された方向に適応した補間が行われる。筆者らは、方向検出方法として12方向のオペレータを用いていたが、参照画素が複雑になるので、拡大倍率は2倍に留めていた。今回は、より高倍率である4倍拡大で12方向適応補間を検討した。高倍率拡大では、倍率が高くなるほどジャギーが目立つので方向適応の効果は大きくなる。補間に用いる画素は、原画素とそれから1次元フィルタで作られた4倍密画素を用いる。また、0度や90度に近い方向では離れた画素も用い、45度に近い場合は最近傍画素のみを用いて補間する。評価では良好な画質とPSNRを得ることができた。

標準動画像フォーマットは、最近のものも1980年代初期に勧告されたBT.601に基づいている。この規格はアナログ信号を取りこぼし無くディジタルにすることに主眼が置かれており、ガンマ変換(γ補正)と黒マージンを含む8/10bit量子化となっている。90年代中ごろからのHDTV規格も画素アスペクト比が正方になっただけで、レベル方向の扱いはあまり変わっていない。一方、その間にコンピュータの画像応用は劇的に変化し、HDR(高ダイナミックレンジ)画像への対応が重要になっており、アナログの延長上にある現在のフォーマットが最適かは疑問である。有用なビデオシステムを構築するために、本論文では4画素を4byteで表現するレンジ符号化を検討した。さらに階調を改善するために4画素周期でのオフセット量子化を提案した。画質評価では10bit HDTVから作られた16bit擬似HDR画像を用いた。

高ダイナミックレンジ(HDR)画像の符号化(データ化)では、トーンマッピングに基づくレベル変換を行った後に量子化を行う手法が主に検討されている。この手法は通常(低ダイナミックレンジ)表示において、見やすい画像が得られる反面、本来のHDR画像を忠実に伝送するのには必ずしも適さない。そこで、汎用性や実用性が高いHDR用の符号形成方法として複数画素の連結によるレンジ符号化手法を検討する。また、HDR画像の評価に適した客観評価方法として、PSNRの代わりに各画素値に対する誤差を求めるSNR計算方法を提案する。評価画像は、多くの画像で評価を行うため、10bitHDTV標準動画像に処理を加えることで、擬似16bitHDR画像を得た。実験の結果、画素単位のレンジ符号化は、単純なγ変換より劣るが、提案手法は特に4画素連結で最も優れることが分かった。

フレーム単位でR,G,Bを切り替えるシーケンシャルカラー方式が提案されている。この方式を実用化するためには、フォーマット変換やフレーム間符号化において動き補償色プレーン間処理が必要になる。しかし、各フレームの色プレーンは3フレーム周期で変化し、1ないし2フレーム間で動き推定を行おうとした場合、色プレーンが異なるので、通常の動き推定が使えない。これに対し、輪郭画像に基づく動き推定を提案してきたが、輪郭画像も彩度の高い画像では色プレーンにより異なった画像になる。そこで、輪郭画像に対してエリアレベルによる正規化処理を行い、ブロックマッチングにおいても誤ベクトル軽減処理を施した動き推定方法を提案する。実験により、動き補償された画像のPSNRや画質が大幅に改善できることが確認できた。

新しい動画像フォーマットとして、R,G,Bの1プレーンを1フレームとするシーケンシャルカラー方式が提案されている。また、輝度色差に起因する問題を解決するため、RGB直接符号化が注目されている。そこでは、輝度と色差に応じた画質制御が必要となる。そのため、まずR,G,B各色における、量子化バランスについ検討する。また、量子化誤差を他色プレーンに拡散し、輝度成分のPSNRを色差成分より高める手法について提案した。それらでは、輝度成分の改善に伴い、色差成分のPSNRら低下するので、主観画質評価により最適な画質バランスを調べた。その結果、最適な係数は、誤差拡散が0.5〜1.0、量子化バランスが±2〜±3QPが最適であり、同レートにおいてMOSを0.5程度改善できた。

多様な映像システムにおいて、より良い画質を提供するために映像品質が管理されることが望まれている。そのためには、参照画像を用いない客観画質評価方法が求められている。しかし、ディスプレイ内部などビットストリーム情報が得られない場合には、評価は容易でない。そこで、先に報告したモスキートノイズ、ブロック歪、時間軸劣化と、さらにDCTを用いた空間ボケ量の評価方法を用いる非参照総合画質評価方法を検討する。これは、再生画像のみから主観評価画質に適合する評価値を得ようとするものである。総合評価は、量子化スケールを変化させた符号化再生画像に対して行われ、主観画質評価の予測値として得る。主観画質評価値とその予測値を比較したところ、画像単位では高い相関が得られているが、全体では0.769とまだ十分でないことが分った。

現在の動画像フォーマットは輝度色差で、4:2:0または4:2:2フォーマットが使われている。しかし、これらは画質的には最適でなく、特にインタレース走査の4:2:0では高彩度部分での輝度成分の劣化が大きい。またHDTVを超える動画像フォーマットとしては、Super Hi-Visionや4k×2k(2160p)が検討されているが、コンシューマ用としてはかなり高い仕様となっている。一方、著者はフレーム単位でR,G,Bを順次切り替えるシーケンシャルカラー方式を提案した。これは非圧縮情報量が4:2:2の半分でありながら、適正な色補間により4:4:4と同等の画質を得ることができる。そこで、シーケンシャルカラー方式の特長を再検討し、それを生かしたコンシューマ用の動画像フォーマットについて提案する。そして、各フォーマットの性能を比較し、シーケンシャルカラー方式によるフォーマットの実現性について検討する。

Sequential color has only a plane in a frame and each planes are switched for each frame. To realize this system coding efficiency is important. Therefore, the coding efficiency of luminance/chrominance system and RGB system are compare at Intra coding.

ディジタル放送では, 動画像フォーマットとして飛越し走査のほかに順次走査画像も用いられる.一方, 広く普及している受像機は飛越し走査であり, HDTVの場合も飛越し走査が多い.そこで, 供給画像として順次走査画像と飛越し走査画像の両方が使え, 再生画像は飛越し走査とする動画像伝送システムを提案する.本報告では, 飛越し走査画像に対する符号化方式として, 画像間予測処理の参照画像となるP(I)ピクチャーのみを順次走査に変換して, すべての画像間処理を順次走査で行う符号化手法を検討する.MPEG-2の順次走査符号化に上記手法を適用し, 飛越し走査画像を直接符号化する従来方法より有利なことを示す.

動き補償処理において、複雑な画像の動きにも忠実な処理を行うためには、動き補償単位であるブロックサイズを小さくする必要がある。その場合、マッチングで用いる参照画素数が少なくなるので、実際の画像の動きと異なった動きベクトルを検出する場合が多い。そこで、ブロック毎に求められたマッチング結果からただちに動きベクトルを判定せず、周辺ブロックのマッチング結果を動きの類似度に応じて加算し、その値から動きベクトルを判定する手法を検討した。動きの類似度は対象ブロックと周辺ブロックの上位動きベクトルなどで決めた。

小型の光ディスクに動画像を135分以上記録することが望まれている。しかし、現在確立されている高密度ディスクにMPEG2を適用した場合、転送レートは4Mbps程度となり再生画質に問題がある。一方、ディスクの高速アクセス性を利用し、可変転送レートを用いれば十分な画質が見込まれる。そこで、ビデオディスクに可変転送レートを適用する際の、主観画質が均一で総符号量がディスク容量に適合する符号化制御方法について具体的に検討した。さらにそれを用いてディスク製作までを含めたシステム実験を行った。