Imager マニア

ImageSensorWorld経由で知ったのですが、”ソニーのIMX378　CMOSイメージセンサ搭載のHDR(High Dynamic Range)の方法はこんなだよ”という話を、今週は載せさせてもらおうかなと思います。
(ただ、上記参照元のサイトも予測を含む書き方ですので、100%正しいかどうかはわからない話になります。ご了承ください)

ソニー製IMX378というのはどうも各社フラグシップスマホに現在人気の撮像素子の様子です。
　上記参照元記事通り、まず最近ブランド変えした(？)Google Pixel
　HTCのフラグシップM10
　シャオミのフラグシップMi 5s
などに採用されている様です。

(本件と直接関係の無い話ですが、「各社のフラグシップスマホ」と紹介しても、正直あまり日本ではピンとこない機種ばかりな気がしています。
これはやっぱりスマホになっても日本のガラパゴス化が進行しているということでしょうか？
それとも単に日本はiPhone人気が異常で、Apple以外のフラグシップスマホが入り込む余地が無いだけでしょうか？
それとも単に私がスマホに疎いだけ？f^^;)

この人気撮像素子の超簡単な仕様(spec)は、以下の感じ。
　画素数　　　　：1230万画素
　画素ピッチ　　：1.55um□
　有効画素サイズ：1/2.3インチ


SME-HDR方式の説明に入る前に、比較のため、従来の一般的な？HDRの方式2種を事前に簡単に。

[4回]

↑まず、HDRの方法として最も一般的(≒古典的？)と思われるもの

古くはRed Digital Cinema Camera　がHDRxと呼び、ソニーはDOL(Digital OverLap)-HDRと呼んでいる方式。

端的に言ってしまえば、露出少な目と露出過多？なフレームを2種撮影し、オンチップ処理回路やISP(Image Signal Processor)などでそれらを合成処理(？)をしてハイダイナミックレンジ化する方法。
ビデオであれば、上記短か目露光と長め露光を交互に繰り返すという方法。

デメリットは、ビデオであれば特に、そのイメージセンサが本来持っている信号読み出し速度(≒フレームレート)の半分以下のフレームレートしか出せなくなってしまう点。
そして静止画及び動画共に、本当に速く動く被写体には用を成さなくなってしまう点。



↑お次はソニーが”BME(Binning Multiplexed Exposure)-HDR”と呼んでいる方式。
弊blogでも昔採りあげたことがあり、コレですね。

端的に言えば、一般的なベイヤ配列センサであれば、ベイヤ配列の最低繰り返し周期になる2行を一単位として、それらをやはり短め露出と長め露出と繰り返し、動画であれば更にその露出組み合わせのセットになる行を1フレーム毎に1行ずつズラす(変更する)方式。

フレームレートは落ちないし、動きものに特に弱いということは無いけれど、
特に垂直方向の解像度が半減してしまうという点がデメリット。
(実際には半減まではしないとどこかで主張されていた気はしましたが・・・)



↑そしてこれが今回のエントリの本命、ソニー曰くの”SME(Spatially Multiplexed Exposure)-HDR”方式　(の露光組み合わせ図？)

ちょっと言葉で上図を端的に表現する能力は無いのですが(^^;)、恐らくポイントは、以下と思います。

　①ベイヤ配列の2x2画素の組み合わせ内の対角位置のG同士、RBは必ず露光時間の異なる組み合わせとする

　②上記①の2x2ベイヤ配列を1セットとして見た時に、上下左右斜めの8つのセットの同色画素と、自分のセット内の同色画素(≒同じ位置の画素)は必ず異なる露光時間となるようにする


　この方式でも、従来のHDRの2方式同様、オンチップ処理回路か後段のISPなどの画処理により最終的なHDR画像が生成されるところは同様です。

　この方法で、フレーム間にまたがるHDR処理は不要なため、BME-HDR同様高速動体への対応は(画処理がスピード的に律速しなければ)通常の撮像から不利になることは無さそうです。
”えっ、でも露光時間の異なる画素を複数組み合わせる訳だからやっぱり解像度は犠牲になるんじゃないの？”
(ちなみに上図の場合は4種類の露光を組み合わせている例)
と私的には思う訳ですが、参照元のサイトの説明では、
”(例えば上図の様なレイアウトでは)空間解像度をたった20%程度しかロスしないというソニーの主張になっている”
と記載されています。

※参照元のサイトでは、”ソニーは正確な露光組み合わせパターンを教えてくれなかった”となっており、従って上図の露光パターンは実際に使われているものと同じかどうかはわかりません

　上記”空間解像度を20%程度しかロスしない”という主張が真実だった場合、
当然異なる露光時間同士の画素信号4つで一つの画素出力として、1/4の画素数相当にしてしまうのでは無く、
露光時間の長さの比は事前にわかっている情報なので、”本来同じ時間の露光時間であれば、それぞれの画素がこの出力値になるはず・・・”という様な演算処理を加えることによって、それぞれの画素信号が独立で使用可能になるようなことが出来るということでしょうか。
(オーバー露光画素で飽和してしまった画素信号は、本来ベストな露光時間でも飽和だったのか、オーバー露光のために飽和してしまったのか？の区別はつけられそうにありませんが・・・）



　ちなみに、この元記事(？)のSME-HDRの説明を読んだ時に、新鮮な印象は個人的には一切受けませんでした。
というのは、(どちらが先に発案されたものかは把握していませんが、)iPhone6のフロントカメラ搭載のソニー撮像素子で、同色カラーフィルタ内で更に画素が4分割された(≒言い換えると、2x2＝4画素に対して同一のカラーフィルタが載せられた)素子において、似た様な思想のHDR処理が達成されていたからです。
(注：厳密には上記は私が特許から類推したものですので、断定してはいけないのですが・・・)

　上記iPhone6のフロントカメラ搭載撮像素子は、フォトダイオード4つに対して同色のカラーフィルタ一つですから、フォトダイオード基準の画素数のカラー画像で考えれば
　”最初から空間解像度を落とすことは前提”
の技術であったと言えるのではと思います。

　個人的には今回のblogメインのSME-HDRと、上記iPhone6のフロントカメラ搭載素子の方式とどちらが良いのか甲乙つけがたいHDR方式だと感じるのですが、
(↑画処理素人には、iPhone6素子のHDR方式の方が、画処理でトリッキーなことをあまりせずに素直にHDR画像が生成出来そうで無理が無い破綻しにくい絵になりそうなので)

しかし、一般的にはHDR画像不要な場合には、このSME-HDR用の素子であれば、各画素の露光時間を揃えてあげれば、フォトダイオード個数分の画素解像度がそのまま確保可能という点で、少なくともスマホメーカーには受けが良いのかなという気がします。
(iPhone6フロントカメラ搭載素子では、各フォトダイオードの露光時間を揃えても、4フォトダイオードで一つの色情報しか得ることが出来ないので、いずれにしてもフォトダイオード数分の解像度を得ることは不可能だと思われます)



　今回、ソニー的表現では
　①DOL-HDR
　②BME-HDR
　③SME-HDR
と3種のハイダイナミックレンジ化の方式をラフに紹介(？)させていただきましたが、
この他にフォトダイオード的な飽和の限界を改善するためのHDR化の方法として、すぐに思いつくのが昔懐かしの
　④富士フイルムのスーパーCCDハニカムSRⅡ
の方式です。
　これも一言で言ってしまえば、
”1画素に高感度フォトダイオードと低感度フォトダイオードを一つずつ作り込んでおいて、それらの信号を別々に読み出して、やはり後段の画処理で合成する”
　という方式です。

この方式であれば、フレーム間で合成がまたがらないため高速動体にも強く、また解像度劣化もゼロなはずです・・・
が、そもそも1画素に二つフォトダイオードを作りこむ必要があるため、
　・高画素化に不向き　(≒画素ピッチを小さくしにくい)
また、同じ画素数同士の素子と比較すると、2倍の信号読み出しが必要なため、普通は、
　・消費電力の増大
　・フレームレートの低下
と言った弊害が予想されます。

　「では」ということで、更に古典的(？)な方法で、
　⑤大画素ピッチでほどほどな感度の画素センサ
を作って、大画素なため飽和信号も多くためられる(そして大画素なので感度もそこそこで暗時側の信号も拾える)というセンサでハイダイナミックレンジ、という方法も当然考えられる訳ですが、
これは④のスーパーCCDハニカム方式よりも更に高画素化に不向きということで、
この辺は全ての点で1位の特性を得られるハイダイナミックレンジの方法は無い・・・というべきか、いずれの方式だろうが純粋にフォトダイオードの飽和信号量を増やす技術を地道に伸ばしていくしか無い・・・というべきか、
言い方は難しいですが、結局低ノイズ化、高感度化と同様、我々エンドユーザーのほとんどの人が「もういいや」と言うまでは終わりにならない技術開発の項目ということなのでしょうね(^^;)