以前、
ほとんど今回のタイトル通りのblogエントリを行ったのが、早一月半前。
そのエントリのコメント欄にchiffonさんから、ソニーの特許情報をお寄せ頂いたのが丁度2週間前。
いくつかの頂いた特許情報の中から、iPhone6のサブカメラの奇怪なカラーフィルタ配列(？というかマイクロレンズ配列というべき！？)の謎を解くのに最も近道そうな特許を一つ選んで、都合良くまずはそれだけを読んでみました(^^;)
結果、個人的見解を先に書きますと、
紹介頂いた
特開2013-55499の中の実施形態の内の一つ(一部)が、iPhone6のサブカメラに採用されたソニー製撮像素子に、まず間違い無く適用されているだろうと感じました。
(上記特許は、公開時のものです。その後どうなったか把握していませんが、上記公開時にはまだ日本の特許庁からソニーの権利と認められた状態のものではありません)
今回の上記特許の私が興味を持ったところと、実際上記撮像素子に使われているだろうと思った画素配列等をご紹介したいと思います。
↑上記赤字特許の図9。 最も本特許の目的を分かりやすく表現していると感じた図面
(後で詳述しますが、
同じカラーフィルタにおいても図面で色が異なるのは、”露光時間が異なる画素”であることを、この図面では意味しています)
[6回]
最初に私の結論を書かせて頂きますと、
iPhone6搭載サブカメラに採用されたソニー製撮像素子↓は、
①やはり、
同一カラーフィルタ下に4つの独立したフォトダイオードを持っており、
上面写真で田の字形に見えるのは、上記4つの独立した画素への集光に最適化されたマイクロレンズ形状のため
②やはり、①の
目的はHDR(ハイダイナミックレンジ)処理用の信号を、同一カラーフィルタ下の各画素から取るため
③ ②のやや具体的な方法は、
同一カラーフィルタ下の4つのフォトダイオードを、露光時間の長い(暗部用)フォトダイオードと短い(明部用)フォトダイオードの2種類に2個ずつに分けて信号を読み出す
④ ③の
露光時間の異なる2種類2個ずつのフォトダイオードの配置は、(上図9の様に)
4画素で対角位置にあるフォトダイオード同士を同一露光時間となるようにしている
⑤ ④の
露光時間の異なるフォトダイオードの対角配置の狙いは、主に露光量の異なる画素の重心ずれ対策(相性の悪い被写体においては偽色やノイズの発生抑制)のため
上記ソニー特許からの読み解きが正しい前提ですと、
以前の私がblogで予測した内容の内、
①～③は正解していたが、最後の④と⑤は外したということになります。
↑私自身は、4画素の内対角では無く、上下行毎の横方向の2画素が同一露光時間の組み合わせのフォトダイオードであると予想し、その理由はその方がシンプルな回路制御で信号読み出しが可能だからだと考えていました。
(補足すると、一応この特許の図20～22には、同一カラーフィルタ下の対角の他に、横方向の2画素、または縦方向の2画素で、それぞれ同一露光時間のフォトダイオード対を作って加算読み出しする方法も載ってはいます。
が、載ってはいますが、上記⑤の対策のために、また、特許説明に割かれている活字の量からしても^^;、実際のセンサ駆動的には対角画素が同一露光時間のペアとなっていると思われます)
では、以下より順を追って。
この特許、以下三つのモードがあると主張しています。
同一カラーフィルタ下のフォトダイオード(画素)を4つに分けておいて、
1)それを1画素ずつ読み出す”
通常モード”
2)それを長短2種類の露光時間の2つずつのフォトダイオードに分けて、同じ露光時間の2つの画素は同時に(加算して)読み出す”
ワイドダイナミックレンジモード”
(
通常モードに対して読み出し速度2倍 ←2画素加算して同時に読み出すため)
3)4画素とも同じ露光時間画素にして、かつ4画素を画素FDで加算して同時に読み出す”
(FD)加算モード”
(
通常モードに対して読み出し速度4倍 ←4画素加算して同時に読み出すため)
※クレームや特許の趣旨をわかりやすくするため、少しばかり上記は嘘を書いています。
本当のクレームは、”同一カラーフィルタ下のフォトダイオードを4つに分けて”などという限定は入っていません。
分割数をn画素、露光時間の種類の分け方をM種類と表現して冗長にし、またカラーフィルタの用件は全く記載はなく、権利範囲を広げています。
そのため、
同一カラーフィルタ下のフォトダイオードを画素分割している前提だと全くメリットがわからない1)の”通常モード”なるモードもこの特許の駆動モードの選択肢には入っています。
ですので、乱暴に言い切ってしまうと、iPhone6のサブカメラ搭載撮像素子としては同一カラーフィルタ下でフォトダイオードを4つ持っている構成ですので、恐らく
上記2)のワイドダイナミックレンジモードと、3)のFD加算モードの2種類しか持っていない(≒使用していない)と思われます。
また、
”そりゃ単に加算して読み出すから、結果として読み出し速度が速くなることによる効能であって、あまりこの特許の本質じゃ無いでしょ？”
と、個人的には思うのですが、この特許の冒頭では、まず
上記2)もしくは3)の駆動モードによる読み出し速度アップ(←基本画素FD加算を前提にしていると思われるため実効的な読み出し画素数が減ることによる)による以下二つのメリットを謳っています。
・ローリングシャッター歪の低減
・低消費電力化 ←フレームレート一定の前提
↑図15 各モードの読み出し時間のイメージ図
上段(A)が上記1)の1画素ずつ読み出す通常モード
下段(B)の点線が、上記2)のワイドダイナミックレンジモード、実線がFD4画素加算モード
横軸が時間で、縦軸がセンサの縦方向(行位置)の読み出し位置のイメージ
この図では、(A)の通常モードを基準にした場合(B)の点線および実線の読み出しモードはそれぞれ傾きが2倍と4倍になっていて、
つまり、”それぞれ2倍及び4倍高速に読み出せる”という風に主張しています。
結果、同じフレームレートで読み出せば良い前提だと、通常モードに対して、ワイドダイナミックレンジモードは、半分の時間読み出し動作がお休みして良く、またFD4画素加算モードは3/4の時間を読み出し回路をパワーダウンしても良いため、低消費電力が図れ、
また、通常モードに対して、WDRモードと加算モードは純粋に画面の上から下までの読み出し時間が短いため、ローリングシャッタ歪が小さく出来るという主張です。
ただ、元々は1つのベイヤカラーフィルタ下にあった1つの画素を4つの画素にワイドダイナミックレンジのために分割し、
読み出さなければならない画素数が(通常のベイヤ配置のセンサに対して)4倍になってしまった前提からのスタートと考えれば、
この主張はやや特許のためのメリットの無理やりの主張であって、個人的にはあまりこの特許の本質的な部分では無いと感じました。
で、じゃあこの特許の凄いと感じる部分はと言うと・・・
↑ 私が最初に予想した、露光時間が同一の画素を横方向の2画素でセットにして、4画素の中で上下で露光時間を分けてしまった場合の端的なデメリットを説明する図
※同じカラーフィルタの画素同士で色が異なるのは、露光時間の長短を意味している図です
元々、上図左の様な露光時間の画素の組み合わせでは、
重心ずれを後で補正しなければならない手間に加えて、
上図右の、
電線の様な細い(≒高周波な)被写体を写した場合に、露光時間の異なる画素行に、電線のある行と無い行がきちんと対応してしまった場合には、
”偽色やノイズが発生する要因となるおそれがある”と原文には記載されています。
また、前提として同色の4つの画素を4種の異なる露光時間に分けてワイドダイナミックレンジを達成する手法に関しても、上記と同様の問題が発生することを原文では指摘していて、可能性は否定していませんが、製品に用いることには否定的と読める論調になっています。
結果、上記の様な理由で、ワイドダイナミックレンジモードにおいては、
4画素を2画素ずつの組に分け、そしてかつその組み合わせは4画素で対角の位置にある画素同士のセットで露光時間を変えるようにするために、以下の図の様な露光時間のペアにするのが普通なのですが・・・
上図は図8です。
皆さん、この図と冒頭の”最も特許の目的をわかりやすく表した図”として紹介した図9の違いがおわかりでしょうか？
ヒントはGreenの露光時間制御なのですが・・・
そうなんです、
左上のFDを共通化しているGreenと右下でFDを共通化しているGreenで、露光時間の長短の対角のセットの向き(？)が変わらないのが図8で、その向きを変えているのが図9なんです。
(図9は、右下のGreenの暗いGreenのセットが右上と左下、図8は左上と右下)
ここまでお読みの皆さんであれば、既にこの配置の違いの意味に気づかれた方も多いのではと思いますが、
図7の電線被写体(の様な高周波被写体)は何も世の中に必ず水平や垂直に存在している訳ではありません。
また水平や垂直に存在する可能性が高いとは思いますが、撮影者が必ず水平出しを出来ているか怪しいですし、またパースがかかってやはり常に水平や垂直には出来ない場合も多いでしょう。
ですので、
斜め方向の模様の高周波被写体にもなるべく偽色やノイズに強くなる様にという狙いで考え出されたのが図9の露光の組み合わせなのです。
え？でもじゃあREDとBLUEは斜め被写体はお手上げ？ノーケアなの？
ご安心あれ(？)
↑図10
恐らくこれが本当にiPhone6のサブカメラ搭載撮像素子がワイドダイナミックレンジモードで行っているであろうと私が予想する露光時間の組み合わせです
これではREDとBLUEは、Greenに比べれば斜め模様の高周波被写体に対して弱く見えますが、それは恐らく実際にその通り。
しかし、それは元々のベイヤ配置の宿命であって、このワイドダイナミックレンジ方式固有のネガではありません。
上記までが、私が
以前のエントリで予想を外した冒頭の④と⑤の内容で、かつこの特許を読んで”考えてるな～”と感心した内容になります。
まあ私が画像処理分野に明るく無いだけで、画像処理まで視野に入れられる人であれば、十分予想出来た内容であったかもしれませんが(^^;)
次が、具体的な(？)画素の転送配線の引き回し(転送スイッチとのつなぎ方？)の図になります。
要は、”上記の様な
複雑な露光時間の画素ペアにするのはいいんだけど、じゃあ実際どういう風に読み出す気なのさ？”という疑問に対する解です。
図13 冒頭2)のワイドダイナミックレンジモードの場合
私が”
左右二つの画素を同じ露光時間制御のセットにするのでは？”と前回予想した根拠が、上図の様に”1行に2本の転送スイッチ用の配線を配置する必要が無いから”だったのですが、
この特許を信じるとソニーはそれを厭わず、
1行に2本の転送スイッチ用の配線をレイアウトしていますね。
1.1um□の画素ピッチの中に転送用の配線を2本配置する・・・
表面照射型センサで仮にこれをやってしまったら、如何に昨今の微細加工プロセスであったとしても他の配線と電源と合わせて最早フォトダイオードを遮光してしまいますね(^^;)
正に
裏面照射型センサの恩恵をフルに活用したワイドダイナミックレンジ達成方式という見方も出来るのではないでしょうか。
図13のワイドダイナミックレンジモードの場合は、
(各横の配線と○が交差している画素の転送スイッチとが接続さているという意味で描かれていると思われます)
LAとLDを転送時に同時にON。そして次にLBとLCを同時にON・・・
という風に制御していくと、
この繋ぎ方であれば、同じ露光時間のペアの画素信号が同時に共有されているFDに転送され、そこで信号加算され、以後は同一のひとつのデータとして読み出すことが可能です。
図14 冒頭3)の4画素FD加算モードの場合
配線の繋ぎ方は当然(同じセンサで実現するため)図13と全く同じです。
ただ、制御の仕方を変え、
LA～LDまでの4本の制御配線を同時にON。次にLE～LHの4本の制御配線を同時にON・・・
上記制御で、同一カラーフィルタ下の4つのフォトダイオードからの画素信号を、共有しているFDに同時に転送し、そこで信号加算されて、以後ひとつのデータとして読み出すことが可能になります。
上図では、一応画素の色分け(露光時間の別)がされている様に見えますが、個人的には実際にはこのモードを使う時にはワイドダイナミックレンジモードでは無くて、4画素が同じ露光時間になるように制御された通常撮影の場合だと思います。
次は、実際の画素の等価回路図です。
いくつものパタンが「これでもか！」というぐらい並べられているのは特許でなるべく多くの権範囲を抑えたいがためのご愛嬌(^^;)
私が”実際に使っているのはこれだろうな”と思う代表的なものを以下ひとつだけ転載します。
今まで紹介してきた図8や9や10のレイアウト図面通りの4画素でFDを共通にする投下回路図です。
(これ自体に特に特許性があるとかそういうことは無いはずで、よくあるごくごく普通の等価回路なはずです)
最後に、
冒頭③において2種類2個ずつにフォトダイオードの露光時間の長短を分けると書きましたが、厳密にはこの特許にはもう一つの方法として、”
何らかの方法で高感度と低感度の2種類2個ずつのフォトダイオードを形成しても良い”という様なニュアンスの記述がなされています。
が、”特許は取れるものならなるべく広く権利を取得したい”という大人の事情で書かれることが多いと思われるため(^^;)の戦略であり、
通常のHDR読み出し以外の単なる加算読み出しする場合を考慮すると、
または、特許に感度を変更する具体的な記述が一切無いことを考慮すると、
まず間違い無く実際には、フォトダイオードの物理的な感度変更を行ってはおらず、露光時間の変更による感度変更を行ってワイドダイナミックレンジ化を行っているものと思います。
PR
