忍者ブログ

Imager マニア

デジカメ / デジタルビデオカメラ / スマホ用の撮像素子(イメージセンサ/imager/CMOSセンサ)について、マニアな情報や私見を徒然なるままに述べるBlogです(^^;)

ソニーのSME(Spatially Multiplexed Exposure)-HDR方式について ~iPhone6シリーズのサブカメラ搭載素子のHDR方式と思われるものに似てはいるが・・・

ImageSensorWorld経由で知ったのですが、”ソニーのIMX378 CMOSイメージセンサ搭載のHDR(High Dynamic Range)の方法はこんなだよ”という話を、今週は載せさせてもらおうかなと思います。
(ただ、上記参照元のサイトも予測を含む書き方ですので、100%正しいかどうかはわからない話になります。ご了承ください)

ソニー製IMX378というのはどうも各社フラグシップスマホに現在人気の撮像素子の様子です。
 上記参照元記事通り、まず最近ブランド変えした(?)Google Pixel
 HTCのフラグシップM10
 シャオミのフラグシップMi 5s
などに採用されている様です。

(本件と直接関係の無い話ですが、「各社のフラグシップスマホ」と紹介しても、正直あまり日本ではピンとこない機種ばかりな気がしています。
これはやっぱりスマホになっても日本のガラパゴス化が進行しているということでしょうか?
それとも単に日本はiPhone人気が異常で、Apple以外のフラグシップスマホが入り込む余地が無いだけでしょうか?
それとも単に私がスマホに疎いだけ?f^^;)

この人気撮像素子の超簡単な仕様(spec)は、以下の感じ。
 画素数    :1230万画素
 画素ピッチ  :1.55um□
 有効画素サイズ:1/2.3インチ


SME-HDR方式の説明に入る前に、比較のため、従来の一般的な?HDRの方式2種を事前に簡単に。

↑まず、HDRの方法として最も一般的(≒古典的?)と思われるもの

古くはRed Digital Cinema Camera がHDRxと呼び、ソニーはDOL(Digital OverLap)-HDRと呼んでいる方式

端的に言ってしまえば、露出少な目と露出過多?なフレームを2種撮影し、オンチップ処理回路やISP(Image Signal Processor)などでそれらを合成処理(?)をしてハイダイナミックレンジ化する方法。
ビデオであれば、上記短か目露光と長め露光を交互に繰り返すという方法。

デメリットは、ビデオであれば特に、そのイメージセンサが本来持っている信号読み出し速度(≒フレームレート)の半分以下のフレームレートしか出せなくなってしまう点。
そして静止画及び動画共に、本当に速く動く被写体には用を成さなくなってしまう点。



↑お次はソニーが”BME(Binning Multiplexed Exposure)-HDR”と呼んでいる方式。
弊blogでも昔採りあげたことがあり、コレですね。

端的に言えば、一般的なベイヤ配列センサであれば、ベイヤ配列の最低繰り返し周期になる2行を一単位として、それらをやはり短め露出と長め露出と繰り返し、動画であれば更にその露出組み合わせのセットになる行を1フレーム毎に1行ずつズラす(変更する)方式。


フレームレートは落ちないし、動きものに特に弱いということは無いけれど、
特に垂直方向の解像度が半減してしまうという点がデメリット。
(実際には半減まではしないとどこかで主張されていた気はしましたが・・・)



↑そしてこれが今回のエントリの本命、ソニー曰くの”SME(Spatially Multiplexed Exposure)-HDR”方式 (の露光組み合わせ図?)

ちょっと言葉で上図を端的に表現する能力は無いのですが(^^;)、恐らくポイントは、以下と思います。

 ①ベイヤ配列の2x2画素の組み合わせ内の対角位置のG同士、RBは必ず露光時間の異なる組み合わせとする

 ②上記①の2x2ベイヤ配列を1セットとして見た時に、上下左右斜めの8つのセットの同色画素と、自分のセット内の同色画素(≒同じ位置の画素)は必ず異なる露光時間となるようにする


 この方式でも、従来のHDRの2方式同様、オンチップ処理回路か後段のISPなどの画処理により最終的なHDR画像が生成されるところは同様です。

 この方法で、フレーム間にまたがるHDR処理は不要なため、BME-HDR同様高速動体への対応は(画処理がスピード的に律速しなければ)通常の撮像から不利になることは無さそうです。
”えっ、でも露光時間の異なる画素を複数組み合わせる訳だからやっぱり解像度は犠牲になるんじゃないの?”
(ちなみに上図の場合は4種類の露光を組み合わせている例)
と私的には思う訳ですが、参照元のサイトの説明では、
”(例えば上図の様なレイアウトでは)空間解像度をたった20%程度しかロスしないというソニーの主張になっている”
と記載されています。

※参照元のサイトでは、”ソニーは正確な露光組み合わせパターンを教えてくれなかった”となっており、従って上図の露光パターンは実際に使われているものと同じかどうかはわかりません

 上記”空間解像度を20%程度しかロスしない”という主張が真実だった場合、
当然異なる露光時間同士の画素信号4つで一つの画素出力として、1/4の画素数相当にしてしまうのでは無く、
露光時間の長さの比は事前にわかっている情報なので、”本来同じ時間の露光時間であれば、それぞれの画素がこの出力値になるはず・・・”という様な演算処理を加えることによって、それぞれの画素信号が独立で使用可能になるようなことが出来るということでしょうか。
(オーバー露光画素で飽和してしまった画素信号は、本来ベストな露光時間でも飽和だったのか、オーバー露光のために飽和してしまったのか?の区別はつけられそうにありませんが・・・)



 ちなみに、この元記事(?)のSME-HDRの説明を読んだ時に、新鮮な印象は個人的には一切受けませんでした。
というのは、(どちらが先に発案されたものかは把握していませんが、)iPhone6のフロントカメラ搭載のソニー撮像素子で、同色カラーフィルタ内で更に画素が4分割された(≒言い換えると、2x2=4画素に対して同一のカラーフィルタが載せられた)素子において、似た様な思想のHDR処理が達成されていたからです。
(注:厳密には上記は私が特許から類推したものですので、断定してはいけないのですが・・・)

 上記iPhone6のフロントカメラ搭載撮像素子は、フォトダイオード4つに対して同色のカラーフィルタ一つですから、フォトダイオード基準の画素数のカラー画像で考えれば
 ”最初から空間解像度を落とすことは前提”
の技術であったと言えるのではと思います。

 個人的には今回のblogメインのSME-HDRと、上記iPhone6のフロントカメラ搭載素子の方式とどちらが良いのか甲乙つけがたいHDR方式だと感じるのですが、
(↑画処理素人には、iPhone6素子のHDR方式の方が、画処理でトリッキーなことをあまりせずに素直にHDR画像が生成出来そうで無理が無い破綻しにくい絵になりそうなので)

しかし、一般的にはHDR画像不要な場合には、このSME-HDR用の素子であれば、各画素の露光時間を揃えてあげれば、フォトダイオード個数分の画素解像度がそのまま確保可能という点で、少なくともスマホメーカーには受けが良いのかなという気がします。
(iPhone6フロントカメラ搭載素子では、各フォトダイオードの露光時間を揃えても、4フォトダイオードで一つの色情報しか得ることが出来ないので、いずれにしてもフォトダイオード数分の解像度を得ることは不可能だと思われます)



 今回、ソニー的表現では
 ①DOL-HDR
 ②BME-HDR
 ③SME-HDR
と3種のハイダイナミックレンジ化の方式をラフに紹介(?)させていただきましたが、
この他にフォトダイオード的な飽和の限界を改善するためのHDR化の方法として、すぐに思いつくのが昔懐かしの
 富士フイルムのスーパーCCDハニカムSRⅡ
の方式
です。
 これも一言で言ってしまえば、
”1画素に高感度フォトダイオードと低感度フォトダイオードを一つずつ作り込んでおいて、それらの信号を別々に読み出して、やはり後段の画処理で合成する”
 という方式です。

この方式であれば、フレーム間で合成がまたがらないため高速動体にも強く、また解像度劣化もゼロなはずです・・・
が、そもそも1画素に二つフォトダイオードを作りこむ必要があるため、
 ・高画素化に不向き (≒画素ピッチを小さくしにくい)
また、同じ画素数同士の素子と比較すると、2倍の信号読み出しが必要なため、普通は、
 ・消費電力の増大
 ・フレームレートの低下
と言った弊害が予想されます。

 「では」ということで、更に古典的(?)な方法で、
 ⑤大画素ピッチでほどほどな感度の画素センサ
を作って、大画素なため飽和信号も多くためられる(そして大画素なので感度もそこそこで暗時側の信号も拾える)というセンサでハイダイナミックレンジ、という方法も当然考えられる訳ですが、
これは④のスーパーCCDハニカム方式よりも更に高画素化に不向きということで、
この辺は全ての点で1位の特性を得られるハイダイナミックレンジの方法は無い・・・というべきか、いずれの方式だろうが純粋にフォトダイオードの飽和信号量を増やす技術を地道に伸ばしていくしか無い・・・というべきか、
言い方は難しいですが、結局低ノイズ化、高感度化と同様、我々エンドユーザーのほとんどの人が「もういいや」と言うまでは終わりにならない技術開発の項目ということなのでしょうね(^^;)



拍手[1回]

PR

コメント

お名前
タイトル
文字色
メールアドレス
URL
コメント
パスワード Vodafone絵文字 i-mode絵文字 Ezweb絵文字

無題

FOVEONのような積層方式で全く同じベイヤー配列のものを二段重ねれば一枚目の透過時に光量が減衰するため、または間にNDフィルタを挟めば調整が可能なため、露出時間が同じでも一枚目は露出オーバーで二枚目は露出アンダーになるものを簡単に作れそうです。
早くFOVEONの特許が切れてくれとは言えませんが、その時にはセンサにとって大きな躍進があるかと思います。

Re:無題

>rituさん

初めまして。imagerマニアです。
コメントありがとうございます(^^)

>FOVEONのような積層方式で全く同じベイヤー配列のものを二段重ねれば一枚目の透過時に光量が減衰するため、または間にNDフィルタを挟めば調整が可能なため、露出時間が同じでも一枚目は露出オーバーで二枚目は露出アンダーになるものを簡単に作れそうです。

おもしろい発想ですね(^^)

ただ個人的にはカラーフィルタありFOVEON形式のカラーセンサHDRはかなり難しいのではないかと予想します。

https://www.ieice.org/jpn/books/chishikinomori/pdf/samp03_01.pdf

上記参照先の一番最後の行あたりの文と図にある様に、可視光は波長によってシリコンでの吸収係数が大幅に異なります。
文面によれば、入射光の50%吸収するのに、青色は0.35umの深さのシリコンフォトダイオードで済むのに対し、赤色では3.2umの深さのフォトダイオードが必要なことがわかります。

つまり何が言いたいのかと言いますと、現状のプロセス技術においては、画素ごとにフォトダイオードの深さを(ましてやFOVEON形式の複数層のフォトダイオードは)調節することは難しいと思うため、カラーフィルタ以外は同じ構造の画素構造を用いるとすると、

例えば、上層のフォトダイオードの深さを3.2umと設定した際には、赤色は下層フォトダイオードと50:50の光量分配となって、ダイナミックレンジ拡大の意味を成さず、
そして青色光は上層のフォトダイオードで入射光のほとんどが吸収され、下層のフォトダイオードにはほとんど光は到達せず、やはりダイナミックレンジ拡大には使えない分配比率になるのではと思われます。
つまり、フォトダイオード深さをどの様に設計しても、全ての色に対してHDR処理に適した構造というのは存在しないのではないかと思うのです。

  • imagerマニア
  • 2016/10/18(Tue.)

無題

日本のガラパゴス化の問題ではなく、世界で生産販売する戦略&戦術を
誤ったのが原因だと思います。
所謂ビジネスが下手なのです。
宜しければ、スマホの技術動向&シェアーに関する資料を送りますよ。
私はこの分野の顧問業務を行っていますので、毎回このブログを
楽しく読ませて頂いているお礼です。

Re:無題

>SATさん

お久しぶりでございます。

>毎回このブログを楽しく読ませて頂いているお礼です。

SATさんの様なビジネス成功者な方に見ていただけていてむしろ光栄です。
技術顧問、コンサルタント・・・冷やかしとかでは無く、本当に羨ましい響きです。
いつかなれたら・・・などと思ったりはしますが、強い意志で「なる!」と考え、具体的に精進して動き出さないと、漫然とサラリーマンしてたらなれないですよね。
私には難しそうですf(^^;)


以前ここにコメント下さいましたが、
iPhone7Plusで双眼カメラ(とSATさんの業界では呼ぶのでしょうか?)搭載となり、仰られていたように、まだ本格化とまではいきませんが、フラグシップ機では徐々に立ち上がってきている感じでしょうか


>所謂ビジネスが下手なのです。
日本電機メーカーあるあるな感じということでしょうか?(^^;)


>宜しければ、スマホの技術動向&シェアーに関する資料を送りますよ。

遅くなりましたが、興味はとてもありますのでお言葉に甘えて是非お願い致します。
imager-mania@excite.co.jp

↑もちろんSATさんを信用していないということでは無いのですが、ここで本メールアドレスを晒す勇気はありませんので、大変失礼ながら、上記は所謂捨てメアドです。
ご容赦ください。

  • imagerマニア
  • 2016/10/22(Sat.)

無題

どんなやり方をしてもわざと感度を落としてしまうようなやりかただといわゆる高感度特性が悪くなります
ダイナミックレンジにフォーカスしてマーケティング出来れば世に出るでしょうが、高感度特性は確実に劣化するので、うまく行かないんじゃないでしょうか?
例えばセンサーの半分を感度1/4にして合成すれば見た目のダイナミックレンジは少し良くなるかもしれませんが、暗い部分の光の量はほぼ1/2になるので高感度特性は1段程度悪くなり、感度がoverlapしていないところ(明るいところと暗いところ)では、解像度が1/2に低下します。
普通に作ったセンサーの方がいい気がします。
正攻法で行くならやはり、全画素超高速読み出しじゃないでしょうか10kHzで読み出せるなら1/1000秒のシャッター速度でも10枚重ねられるので3bit位ダイナミックレンジを稼げます。

Re:無題

 >中村@つくばさん

お久しぶりです。

>どんなやり方をしてもわざと感度を落としてしまうようなやりかただといわゆる高感度特性が悪くなります
>ダイナミックレンジにフォーカスしてマーケティング出来れば世に出るでしょうが、高感度特性は確実に劣化するので、うまく行かないんじゃないでしょうか?
>(中略)
>普通に作ったセンサーの方がいい気がします。

 おっしゃる通りだと思います。
またマーケティングを抜きに考えても、個人的には感度はイメージセンサにとって最も基本的でかつ最重要な特性だと思うので、(余程何かのアプリ用に特化した狙いが無い場合は)他の特性のために感度を犠牲にするやり方は、個人的には賛成したくありません。

 今回のblogエントリのHDR方式に関しては、3つとも
”センサのHDR用の駆動にすれば、HDR画像映像が取れる≒通常駆動撮像時の感度は劣化させていない”
というハードの構造では無く駆動だけでHDRに対処しているところで、世に無事に?出ているのでしょうね。

(対して、ハード構造的に対処した富士のスーパーハニカムCCD的なセンサは、厳密には、感度その他いくつかの特性劣化を常に招くやり方のため、
他のHDR方式では用を成さず、しかしHDRを最優先したいアプリ向け・・・車載センサ? でない限りは、中村@つくばさんおっしゃる通り今後は日の目を見ない方式な様に思いますね。)


>正攻法で行くならやはり、全画素超高速読み出しじゃないでしょうか10kHzで読み出せるなら1/1000秒のシャッター速度でも10枚重ねられるので3bit位ダイナミックレンジを稼げます。

上記は
 ・欲しいシャッター速度の1/10の蓄積及び読み出し速度で信号を10回読み出し、それを加算する
すると
 ・20log{2^(3bit)}≒18dB=8倍ダイナミックレンジを稼げる
という理解で良いのでしょうか?

その心というのは、露光時間1/10なのだから、通常の1/1000秒シャッターの一発撮りと比較すれば、適正露出よりも1/10アンダー露光で撮っていることになるため、
今まで白飛びしていた部分を10倍大きい光量までは拾える(≒救える)
だからその分ダイナミックレンジが広がる。S/Nは維持しながら・・・

という理解で良いでしょうか?

それとも上記方法を取れば、そもそも(dB=20log(S/N)で決まる)ダイナミックレンジが良くなる(=加算後の信号量は一緒だが、ノイズが小さくなる?ので暗い側のレンジが広くなる)という意味でしょうか?
後者であるとした場合、現状私の頭が追い付いていません。最終信号量が同一になるような加算であれば、S/Nは1ショット画像でも複数ショット加算でも同一な様な・・・?

  • imagerマニア
  • 2016/10/22(Sat.)

無題

imagerマニアさん、詳しく説明していただいてありがとうございます。
シリコンの透過特性が波長によって大きく変化するという問題点があるんですね。単純に透過するものと思っていました。
とすると三色のカラーフィルタを用いたセンサの下に二層目を設置するならば、三色それぞれを通った後でバラついた状態の光から何が得られるかという事になってくるんですね。
簡単に性能が飛躍すると思っていましたが難しそうです…

Re:無題

もう一点だけ補足させてください。

>シリコンの透過特性が波長によって大きく変化するという問題点があるんですね。

上記”問題点”のお陰で、FOVEONセンサが存在出来ています。
(≒もしシリコン中での波長ごとの吸収係数が同一であったならば、FOVEONセンサは原理的に成り立ちません)


>とすると三色のカラーフィルタを用いたセンサの下に二層目を設置するならば、三色それぞれを通った後でバラついた状態の光から何が得られるかという事になってくるんですね。

まだ実用化出来ていない(≒何かの製品には載っていない)と思いますが、
rituさんと同様の発想で、オリンパスが以前

 積層センサの上側のシリコンで可視光のRGBをカラーフィルタ付きで通常通り受け、下側のシリコンで透過してきた赤外光を受けるというイメージセンサ
の研究開発結果を発表していました。

(↑RGBのカラーフィルタは可視光をターゲットにしているためか、赤外光に対する選択性?=透過特性の差異 はほとんど無いようで、上側シリコンの各画素を通り抜けてくる赤外光にはばらつきは存在していないため可能なのだと思います)

  • imagerマニア
  • 2016/10/22(Sat.)

電子シャッターと機械シャッターの組み合わせ

> imagerマニア さん
> 中村@つくば さん

グローバル電子シャッターで高輝度用の高速撮影した後に、機械シャッターで低輝度用の低速撮影を行えば、機械シャッターが閉じている間に蓄積部とPDから電荷を低速ハイビットで読み出せます。
アンプゲインの切り替えが必要になりますので、2枚の14ビット画像から28ビット画像を作る精度は出ないでしょうが、24ビットはいけそうな気がします。
何の裏付けもありませんが…。

無題

imagerマニア様、

> 上記は
>  ・欲しいシャッター速度の1/10の蓄積及び読み出し速度で信号を10回読み出し、それを加算する
> すると
>  ・20log{2^(3bit)}≒18dB=8倍ダイナミックレンジを稼げる
> という理解で良いのでしょうか?

目的の1/1000が目的の露光時間なら1/10000を10回撮れば(ウェルに蓄積された電荷を10回リセットすれば)10倍高いところまで電荷は取れるという意味で書きました。
10倍なので適当に3bit(=8)と書きました。3段分ハイライトが改善すれば大したものだと思います。
単に足すだけだと暗いところは 1/1000の露光と等価なので、得するかどうかはよく考えないとわからないです。すいません。

hi-low様、
> グローバル電子シャッターで高輝度用の高速撮影した後に、機械シャッターで低輝度用の低速撮影を行えば、機械シャッターが閉じている間に蓄積部とPDから電荷を低速ハイビットで読み出せます。

余りグローバルシャッターかどうかは関係ない気がします。
機械シャッターを開けてから、二回電子シャッターで露光すればいいわけですから。
この場合でも二回目の露光をする前に一回目の露光で得られた電荷を読み出さないといけないので、結局高速読み出しが必要になりますよね。でないと、画像がずれてしまいます。
手持ちでもずれないようにする、あくまでシャッター速度の言葉の意味は守る、と決めると複数回露光するためには高速読み出ししかないと思います。

hi-lowさんがお書きになられたように、理想的にはアンプのゲインを変えながら高速読み出しで何枚か露光すれば、ハイライト側はもっと改善するでしょうね。

Re:無題

>中村@つくばさん

>目的の1/1000が目的の露光時間なら1/10000を10回撮れば(ウェルに蓄積された電荷を10回リセットすれば)10倍高いところまで電荷は取れるという意味で書きました。
>10倍なので適当に3bit(=8)と書きました。3段分ハイライトが改善すれば大したものだと思います。


 いえ、私も3段分改善すれば大したものだと思います。
中村@つくばさんのおっしゃられた意味を私が理解できていたと認識しました。
それに誤解が無ければ納得ですし、安心(?)しました(^^;)

(ちなみに加算することによるノイズに関しては一応真剣に考えてみまして、その結果の私の結論は、光ショットノイズがノイズの支配成分の光量領域では差異無し。回路のreadノイズの影響が出てくる様な低輝度or暗時領域では残念ながら√10倍になるのかなと考えました)


 そして、中村@つくばさんの”高速読み出しが必要になる”という見解にも同意です。
役に立つのはHDRに限らないと思うのですが、仮にHDRに限ったとしても、
更に話を飛躍させればフォトンカウント方式にイメージセンサを変更して、ひたすらに高速読み出しの性能を上げていけば、最早フォトダイオードの飽和特性とは無関係に画像の飽和耐性(?)はアップしていくと思います(←誤解があったら恐縮です)ので、
そういう方向性を考えても高速読み出しが必要になるというか、技術開発の意味のある開発軸の一つなのかなという気がしています。

  • imagerマニア
  • 2016/10/22(Sat.)

Re: 無題

> 中村@つくば さん
> imagerマニア さん

グローバルシャッタと機械シャッタを組み合わせたのは、機械シャッタを閉じた状態で低速のAD変換をして欲しいからです。個人的には、12bitの高速読み出しよりも、14bitの低速読み出しの方が好みです。

imagerマニアさんがご指摘のように、超高速読み出しのフォトンカウントが究極でしょうね。
カウントの精度が悪いと大変なことになりますが…。

ブログ内検索

カウンター

最新コメント

[03/21 通りすがりの人]
[03/09 hi-low]
[03/07 namaewoirete]
[03/06 hi-low]
[03/06 愛読者]
[03/05 glasstic]
[03/04 hi-low]
[02/25 NONAME]
[02/20 hi-low]
[02/15 hi-low]
[02/06 hi-low]
[01/31 中村@つくば]
[01/31 toshi]
[01/30 hi-low]
[12/23 hi-low]

カレンダー

02 2017/03 04
S M T W T F S
1 2 3
5 6 7 8 9 10 11
12 13 14 15 16 17 18
19 21 22 23 24 25
26 27 28 29 30 31

バーコード

プロフィール

HN:
imagerマニア
性別:
非公開