Imager マニア

　今年の頭international CESで話題になっていたソニーのフラグシップスマホ”xperia Z”。
上記スマホでimagerマニアとして加えて注目すべき点がもう一つあり、それがソニーの積層型裏面センサ初搭載製品でもあること。
　ソニー積層型裏面センサは当blogでも採りあげようとしていながら、ぐうたらして旬な時期を逃してしまっていました(^^;)

　このセンサ、裏面センサであることをいいことに(？)元々単なる支持基板だったところに処理ICを埋め込んでしまったという凄い代物。その恩恵をシステム設計側にもアピールするために、”従来の画処理エンジンを変更しなくてもひとまず以下二つの機能を提供出来ますよ”というものだった。
　1) RGBWカラーフィルタ配置で高感度。でもセンサ出力としては従来ベイヤ配列と同等の出力を行います
　2) HDR(high dynamic range)画像を静止画でも動画でも(センサ出力時点で既に)提供します

　残念ながら事後で1)の方は何らかのシチュエーションでの撮影で修復し難い粗が出たのか、機能提供を断念してしまった様ですが(そしてどさくさに紛れて？元々のGreen感度92mVの仕様も84mVと感度downしてしまっていますが(^^;))、2)の方のHDR機能は今だ健在。

　そこで今回注目するのが、”動画モード時でもHDR可能”という点。
まず、静止画の時のHDRも有していますが、こちらは既に各社よく行っている”2枚の異なる露出の画像を高速連写で撮影し、それを内部でうまいこと合成して”HDR画像を生成するという方法。

　「しかし、動画の時はどうするの？動画だから元々フレームレート結構速いよ？それにそもそも静止画と同じ方法で動画でうまくいくものなの？」
　という疑問が拭えませんでした。
そんな中、今回ソニーが公式にその方法の概要を説明してくれています。

　更に上記内容をわかりやすい図面付で補足してくれているサイトを見つけました。
上記サイトからの図面を以下転載させて頂きます。












　
上記の図面がもうほんとにわかりやすくて、見ただけで上記リンク内の英語を読まなくても”ああ、なるほど”と思わされるのですが、簡単に言ってしまうと

　■ベイヤ配列ごとの2行毎に短い露光(←明るい箇所用)と長い露光(←暗い箇所用)を交互に行い、それをセンサチップ内で合成する

　上記方法だと、厳密に言うと恐らく垂直方向の解像度は何らか落ちることになると思うのですが、露光違いとは言え一応同時刻の絵を抑えているので、うまく処理すれば、垂直方向の解像度の落ちも1/2とかにまではならず最低限の劣化で済むのかもしれません。
まあ、元々動画ですので、撮影対象物が動いていればプロが見ない限りはそもそも解像度1/2でも我々は気づかないというオチもあるかもしれませんが(^^;)


　さて、もう一つ気になる点が出てきました。
ソニー公式発表の図面かわからないものなのでどこまで信じるか？なのですが、
仮に上図が正しいと仮定すると、私の”ベイヤ配列”という表現は(便宜上わかりやすいので使いましたが)実はウソになります。
　上記1)の機能の名残なのか、上図にはwhite画素が存在しているように見えます。しかも存在確率1/2もです。
仮にRGBW方式を放棄してしまったのであれば、上図の様なカラーフィルタ配列は合理的ではないと思います。
これでは色分解能が著しく落ちてしまうように素人には感じます。

しかも、この配列のまま2行毎に露光時間を変えてしまっては、例えば左2列に着目すると、”Green画素は常に短い露光画素、RBは常に長い露光画素”となってしまい、また、左から3及び4列目はその逆でgreenは常に長い露光画素、RBは常に短い露光画素となってしまいます。
　これでは単純に合成して1フレームの動画にしてしまうと、水平の解像度まで(色分解能という観点で言うと)1/2になってしまうことになると思います(←まあ実際はそんな単純な合成の仕方ではないと思うので1/2にまではならないのでしょうけれど・・・しかしそれにしたって通常のベイヤ配列の方が良い結果になると思います)。

　今回の積層型裏面センサのセンサの支持基板内の処理ICは、既にRGBW配列用に作りこんであって、後からカラーフィルタ配列を変更してしまうと、それはそれで作り直さないと正しい色処理が出来なくなってしまうという事情とかあるのかもしれませんが、もし上図が実際の製品のカラーフィルタ配列だとするとそこが残念な感じがします。

　もしxperiaZを購入検討されている方で「俺のスマホの選択基準はカメラ画質が最優先だ！」という方がいらっしゃったら、ひとまず発売後しばらく様子見してみた方が良いかもしれませんね。
しばらくしたら第二世代積層型裏面センサで、通常のRGBベイヤ配列のものが搭載されたスマホが出てくるかもしれませんので。

[0回]