忍者ブログ

Imager マニア

デジカメ / デジタルビデオカメラ / スマホ用の撮像素子(イメージセンサ/imager/CMOSセンサ)について、マニアな情報や私見を徒然なるままに述べるBlogです(^^;)

ソニースマホxperiaZ搭載 積層型裏面センサの動画時HDR駆動方法 ~静止画はわかるけど動画でHigh Dynamic Rangeって?

 今年の頭international CESで話題になっていたソニーのフラグシップスマホ”xperia Z”
上記スマホでimagerマニアとして加えて注目すべき点がもう一つあり、それがソニーの積層型裏面センサ初搭載製品でもあること。
 ソニー積層型裏面センサは当blogでも採りあげようとしていながら、ぐうたらして旬な時期を逃してしまっていました(^^;)

 このセンサ、裏面センサであることをいいことに(?)元々単なる支持基板だったところに処理ICを埋め込んでしまったという凄い代物。その恩恵をシステム設計側にもアピールするために、”従来の画処理エンジンを変更しなくてもひとまず以下二つの機能を提供出来ますよ”というものだった。
 1) RGBWカラーフィルタ配置で高感度。でもセンサ出力としては従来ベイヤ配列と同等の出力を行います
 2) HDR(high dynamic range)画像を静止画でも動画でも(センサ出力時点で既に)提供します

 残念ながら事後で1)の方は何らかのシチュエーションでの撮影で修復し難い粗が出たのか、機能提供を断念してしまった様ですが(そしてどさくさに紛れて?元々のGreen感度92mVの仕様も84mVと感度downしてしまっていますが(^^;))、2)の方のHDR機能は今だ健在。

 そこで今回注目するのが、”動画モード時でもHDR可能”という点。
まず、静止画の時のHDRも有していますが、こちらは既に各社よく行っている”2枚の異なる露出の画像を高速連写で撮影し、それを内部でうまいこと合成して”HDR画像を生成するという方法。

 「しかし、動画の時はどうするの?動画だから元々フレームレート結構速いよ?それにそもそも静止画と同じ方法で動画でうまくいくものなの?」
 という疑問が拭えませんでした。
そんな中、今回ソニーが公式にその方法の概要を説明してくれています。

 更に上記内容をわかりやすい図面付で補足してくれているサイトを見つけました。
上記サイトからの図面を以下転載させて頂きます。

967b164b.jpeg










 
上記の図面がもうほんとにわかりやすくて、見ただけで上記リンク内の英語を読まなくても”ああ、なるほど”と思わされるのですが、簡単に言ってしまうと


 ■ベイヤ配列ごとの2行毎に短い露光(←明るい箇所用)と長い露光(←暗い箇所用)を交互に行い、それをセンサチップ内で合成する

 上記方法だと、厳密に言うと恐らく垂直方向の解像度は何らか落ちることになると思うのですが、露光違いとは言え一応同時刻の絵を抑えているので、うまく処理すれば、垂直方向の解像度の落ちも1/2とかにまではならず最低限の劣化で済むのかもしれません。
まあ、元々動画ですので、撮影対象物が動いていればプロが見ない限りはそもそも解像度1/2でも我々は気づかないというオチもあるかもしれませんが(^^;)


 さて、もう一つ気になる点が出てきました。
ソニー公式発表の図面かわからないものなのでどこまで信じるか?なのですが、
仮に上図が正しいと仮定すると、私の”ベイヤ配列”という表現は(便宜上わかりやすいので使いましたが)実はウソになります。
 上記1)の機能の名残なのか、上図にはwhite画素が存在しているように見えます。しかも存在確率1/2もです。
仮にRGBW方式を放棄してしまったのであれば、上図の様なカラーフィルタ配列は合理的ではないと思います。
これでは色分解能が著しく落ちてしまうように素人には感じます。

しかも、この配列のまま2行毎に露光時間を変えてしまっては、例えば左2列に着目すると、”Green画素は常に短い露光画素、RBは常に長い露光画素”となってしまい、また、左から3及び4列目はその逆でgreenは常に長い露光画素、RBは常に短い露光画素となってしまいます。
 これでは単純に合成して1フレームの動画にしてしまうと、水平の解像度まで(色分解能という観点で言うと)1/2になってしまうことになると思います(←まあ実際はそんな単純な合成の仕方ではないと思うので1/2にまではならないのでしょうけれど・・・しかしそれにしたって通常のベイヤ配列の方が良い結果になると思います)。

 今回の積層型裏面センサのセンサの支持基板内の処理ICは、既にRGBW配列用に作りこんであって、後からカラーフィルタ配列を変更してしまうと、それはそれで作り直さないと正しい色処理が出来なくなってしまうという事情とかあるのかもしれませんが、もし上図が実際の製品のカラーフィルタ配列だとするとそこが残念な感じがします。

 もしxperiaZを購入検討されている方で「俺のスマホの選択基準はカメラ画質が最優先だ!」という方がいらっしゃったら、ひとまず発売後しばらく様子見してみた方が良いかもしれませんね。
しばらくしたら第二世代積層型裏面センサで、通常のRGBベイヤ配列のものが搭載されたスマホが出てくるかもしれませんので。
 

拍手[0回]

PR

コメント

お名前
タイトル
文字色
メールアドレス
URL
コメント
パスワード Vodafone絵文字 i-mode絵文字 Ezweb絵文字

HDR

管理人様

2年前にHDRの話題がありましたので、それ以前の記憶を含めて、思い起こしてみました。
HDRの技術検討自体は、10年以上前からあり、ずっと続いていたと思います。間違いかもしれませんが、当初の目的は、
(1)監視カメラや車載カメラのように、解像度よりは、幅広い光量に対応すべく、80db以上のD-rangeを持つセンサを開発する
だったように思います。
ただ、最近、10年のように、スマホやコンデジ等の一般センサで、やがてピクセルピッチが1μmを割るのか、という時代になると、飽和電荷がどうしても低下し、
(2)低下した飽和電荷の問題を補償するために、別途、HDR技術を導入して、D-range問題を顕在化させない
が加わって来たような気がします。

強引にピクセルピッチを小さくして、解像度を上げて、発生した問題に対応するために、今度は、解像度を低下させる副作用を持つHDR技術を導入するというのは、本末転倒ではないのか、という議論はここではしません。

本来、二律相反に成り易い、解像度とD-rangeの間の問題を解決する手法として、HDR技術が商品化の段階まで来ている、と素直に考え、今までの経緯を見てみます。

初期は、HDRの手法として、長秒露光と短秒露光の信号を組み合わせてD-rangeを広げる方法より、log出力タイプに期待する向きが多かったように思います。勿論、昔はアプリケーションのターゲットがスマホではありませんから、開発の目的は(1)に沿ったものでした。
10年以上前ですが、2003年のマイクロディバイス、7月号、56ページに、当時、log出力タイプのセンサを開発していた会社名が載っています。具体的には、オムロン、シャープ、ホンダ、ローム、ミノルタの名前が挙がっています。
これらの会社で、今でもプロジェクトが続いているか、どうかは分かりません。監視カメラや車載センサはスマホと要求スペックが異なるので、開発し続けているメーカーがあるのか、興味のあるところです。目標D-rangeは100~170db位だったようです。

今後、商品に導入されるHDR技術のメインストリームがどうなるのかが、焦点です。アプリケーション別に方式は住み分けることになるのか、長秒/短秒方式のようなものに1本化することになるのか。
当面の問題として、SONYが上記方式をHDRの中で本命視して使っているのか、も気になるところです。

これら以外に、また個性的なHDR技術が出てきたら、このサイトで紹介してください。


PS: マイクロディバイスを久しぶりに開けて、この雑誌も廃刊になったんだなと、しみじみ思いました。半導体関係者のリストラが進み、読む人が少なくなれば、仕方ないですが...

ブログ内検索

カウンター

最新コメント

[05/25 hi-low]
[05/08 hi-low]
[05/05 toshi]
[05/05 http://tt919n.kopi666.com/]
[04/29 ぷん]
[04/25 FT]
[04/24 ボケが進行中]
[04/24 hi-low]
[04/24 hi-low]
[04/03 hi-low]
[04/03 stranger]
[04/03 MiningDeabs]
[04/03 Mortonbot]
[04/03 FT]
[04/02 hi-low]

カレンダー

04 2017/05 06
S M T W T F S
1 2 3 4 5 6
8 9 10 11 12 13
14 15 16 17 18 19 20
22 23 24 25 26 27
28 29 30 31

バーコード

プロフィール

HN:
imagerマニア
性別:
非公開