忍者ブログ

Imager マニア

デジカメ / デジタルビデオカメラ / スマホ用の撮像素子(イメージセンサ/imager/CMOSセンサ)について、マニアな情報や私見を徒然なるままに述べるBlogです(^^;)

iPhone6のフロント(≒サブ)カメラ搭載撮像素子のカラーフィルタ配列の謎は解けた!? ~同一カラーフィルタ画素を4分割している明確な理由がやはりあった!

以前、ほとんど今回のタイトル通りのblogエントリを行ったのが、早一月半前。
そのエントリのコメント欄にchiffonさんから、ソニーの特許情報をお寄せ頂いたのが丁度2週間前。
いくつかの頂いた特許情報の中から、iPhone6のサブカメラの奇怪なカラーフィルタ配列(?というかマイクロレンズ配列というべき!?)の謎を解くのに最も近道そうな特許を一つ選んで、都合良くまずはそれだけを読んでみました(^^;)

 結果、個人的見解を先に書きますと、
紹介頂いた特開2013-55499の中の実施形態の内の一つ(一部)が、iPhone6のサブカメラに採用されたソニー製撮像素子に、まず間違い無く適用されているだろうと感じました。

(上記特許は、公開時のものです。その後どうなったか把握していませんが、上記公開時にはまだ日本の特許庁からソニーの権利と認められた状態のものではありません)

今回の上記特許の私が興味を持ったところと、実際上記撮像素子に使われているだろうと思った画素配列等をご紹介したいと思います。


↑上記赤字特許の図9。 最も本特許の目的を分かりやすく表現していると感じた図面
(後で詳述しますが、同じカラーフィルタにおいても図面で色が異なるのは、”露光時間が異なる画素”であることを、この図面では意味しています)
最初に私の結論を書かせて頂きますと、
iPhone6搭載サブカメラに採用されたソニー製撮像素子↓は、

やはり、同一カラーフィルタ下に4つの独立したフォトダイオードを持っており、上面写真で田の字形に見えるのは、上記4つの独立した画素への集光に最適化されたマイクロレンズ形状のため

②やはり、①の目的はHDR(ハイダイナミックレンジ)処理用の信号を、同一カラーフィルタ下の各画素から取るため

③ ②のやや具体的な方法は、同一カラーフィルタ下の4つのフォトダイオードを、露光時間の長い(暗部用)フォトダイオードと短い(明部用)フォトダイオードの2種類に2個ずつに分けて信号を読み出す

④ ③の露光時間の異なる2種類2個ずつのフォトダイオードの配置は、(上図9の様に)4画素で対角位置にあるフォトダイオード同士を同一露光時間となるようしている

⑤ ④の露光時間の異なるフォトダイオードの対角配置の狙いは、主に露光量の異なる画素の重心ずれ対策(相性の悪い被写体においては偽色やノイズの発生抑制)のため


 上記ソニー特許からの読み解きが正しい前提ですと、以前の私がblogで予測した内容の内、
①~③は正解していたが、最後の④と⑤は外したということになります。

↑私自身は、4画素の内対角では無く、上下行毎の横方向の2画素が同一露光時間の組み合わせのフォトダイオードであると予想し、その理由はその方がシンプルな回路制御で信号読み出しが可能だからだと考えていました。

(補足すると、一応この特許の図20~22には、同一カラーフィルタ下の対角の他に、横方向の2画素、または縦方向の2画素で、それぞれ同一露光時間のフォトダイオード対を作って加算読み出しする方法も載ってはいます。
が、載ってはいますが、上記⑤の対策のために、また、特許説明に割かれている活字の量からしても^^;、実際のセンサ駆動的には対角画素が同一露光時間のペアとなっていると思われます)



 では、以下より順を追って。
この特許、以下三つのモードがあると主張しています。
同一カラーフィルタ下のフォトダイオード(画素)を4つに分けておいて、
 1)それを1画素ずつ読み出す”通常モード
 2)それを長短2種類の露光時間の2つずつのフォトダイオードに分けて、同じ露光時間の2つの画素は同時に(加算して)読み出す”ワイドダイナミックレンジモード
 (通常モードに対して読み出し速度2倍 ←2画素加算して同時に読み出すため)
 3)4画素とも同じ露光時間画素にして、かつ4画素を画素FDで加算して同時に読み出す”(FD)加算モード
 (通常モードに対して読み出し速度4倍 ←4画素加算して同時に読み出すため)

※クレームや特許の趣旨をわかりやすくするため、少しばかり上記は嘘を書いています。
本当のクレームは、”同一カラーフィルタ下のフォトダイオードを4つに分けて”などという限定は入っていません。
分割数をn画素、露光時間の種類の分け方をM種類と表現して冗長にし、またカラーフィルタの用件は全く記載はなく、権利範囲を広げています。

 そのため、同一カラーフィルタ下のフォトダイオードを画素分割している前提だと全くメリットがわからない1)の”通常モード”なるモードもこの特許の駆動モードの選択肢には入っています。

ですので、乱暴に言い切ってしまうと、iPhone6のサブカメラ搭載撮像素子としては同一カラーフィルタ下でフォトダイオードを4つ持っている構成ですので、恐らく上記2)のワイドダイナミックレンジモードと、3)のFD加算モードの2種類しか持っていない(≒使用していない)と思われます。

 また、”そりゃ単に加算して読み出すから、結果として読み出し速度が速くなることによる効能であって、あまりこの特許の本質じゃ無いでしょ?”
と、個人的には思うのですが、この特許の冒頭では、まず
 上記2)もしくは3)の駆動モードによる読み出し速度アップ(←基本画素FD加算を前提にしていると思われるため実効的な読み出し画素数が減ることによる)による以下二つのメリットを謳っています。
 ・ローリングシャッター歪の低減
 ・低消費電力化 ←フレームレート一定の前提

↑図15 各モードの読み出し時間のイメージ図

上段(A)が上記1)の1画素ずつ読み出す通常モード
下段(B)の点線が、上記2)のワイドダイナミックレンジモード、実線がFD4画素加算モード

横軸が時間で、縦軸がセンサの縦方向(行位置)の読み出し位置のイメージ
この図では、(A)の通常モードを基準にした場合(B)の点線および実線の読み出しモードはそれぞれ傾きが2倍と4倍になっていて、
つまり、”それぞれ2倍及び4倍高速に読み出せる”という風に主張しています。
結果、同じフレームレートで読み出せば良い前提だと、通常モードに対して、ワイドダイナミックレンジモードは、半分の時間読み出し動作がお休みして良く、またFD4画素加算モードは3/4の時間を読み出し回路をパワーダウンしても良いため、低消費電力が図れ、
また、通常モードに対して、WDRモードと加算モードは純粋に画面の上から下までの読み出し時間が短いため、ローリングシャッタ歪が小さく出来るという主張です。

 ただ、元々は1つのベイヤカラーフィルタ下にあった1つの画素を4つの画素にワイドダイナミックレンジのために分割し、
読み出さなければならない画素数が(通常のベイヤ配置のセンサに対して)4倍になってしまった前提からのスタートと考えれば、
この主張はやや特許のためのメリットの無理やりの主張であって、個人的にはあまりこの特許の本質的な部分では無いと感じました。

 で、じゃあこの特許の凄いと感じる部分はと言うと・・・

↑ 私が最初に予想した、露光時間が同一の画素を横方向の2画素でセットにして、4画素の中で上下で露光時間を分けてしまった場合の端的なデメリットを説明する図
※同じカラーフィルタの画素同士で色が異なるのは、露光時間の長短を意味している図です

 元々、上図左の様な露光時間の画素の組み合わせでは、重心ずれを後で補正しなければならない手間に加えて、
上図右の、電線の様な細い(≒高周波な)被写体を写した場合に、露光時間の異なる画素行に、電線のある行と無い行がきちんと対応してしまった場合には、
”偽色やノイズが発生する要因となるおそれがある”と原文には記載されています。

また、前提として同色の4つの画素を4種の異なる露光時間に分けてワイドダイナミックレンジを達成する手法に関しても、上記と同様の問題が発生することを原文では指摘していて、可能性は否定していませんが、製品に用いることには否定的と読める論調になっています。

 結果、上記の様な理由で、ワイドダイナミックレンジモードにおいては、
4画素を2画素ずつの組に分け、そしてかつその組み合わせは4画素で対角の位置にある画素同士のセットで露光時間を変えるようにするために、以下の図の様な露光時間のペアにするのが普通なのですが・・・

 上図は図8です。
皆さん、この図と冒頭の”最も特許の目的をわかりやすく表した図”として紹介した図9の違いがおわかりでしょうか?
ヒントはGreenの露光時間制御なのですが・・・



 そうなんです、左上のFDを共通化しているGreenと右下でFDを共通化しているGreenで、露光時間の長短の対角のセットの向き(?)が変わらないのが図8で、その向きを変えているのが図9なんです。
(図9は、右下のGreenの暗いGreenのセットが右上と左下、図8は左上と右下)

ここまでお読みの皆さんであれば、既にこの配置の違いの意味に気づかれた方も多いのではと思いますが、
図7の電線被写体(の様な高周波被写体)は何も世の中に必ず水平や垂直に存在している訳ではありません。
また水平や垂直に存在する可能性が高いとは思いますが、撮影者が必ず水平出しを出来ているか怪しいですし、またパースがかかってやはり常に水平や垂直には出来ない場合も多いでしょう。

ですので、斜め方向の模様の高周波被写体にもなるべく偽色やノイズに強くなる様にという狙いで考え出されたのが図9の露光の組み合わせなのです。

え?でもじゃあREDとBLUEは斜め被写体はお手上げ?ノーケアなの?

ご安心あれ(?)

↑図10 恐らくこれが本当にiPhone6のサブカメラ搭載撮像素子がワイドダイナミックレンジモードで行っているであろうと私が予想する露光時間の組み合わせです

これではREDとBLUEは、Greenに比べれば斜め模様の高周波被写体に対して弱く見えますが、それは恐らく実際にその通り。
しかし、それは元々のベイヤ配置の宿命であって、このワイドダイナミックレンジ方式固有のネガではありません。

 上記までが、私が以前のエントリで予想を外した冒頭の④と⑤の内容で、かつこの特許を読んで”考えてるな~”と感心した内容になります。
まあ私が画像処理分野に明るく無いだけで、画像処理まで視野に入れられる人であれば、十分予想出来た内容であったかもしれませんが(^^;)


 次が、具体的な(?)画素の転送配線の引き回し(転送スイッチとのつなぎ方?)の図になります。
要は、”上記の様な複雑な露光時間の画素ペアにするのはいいんだけど、じゃあ実際どういう風に読み出す気なのさ?”という疑問に対する解です。


図13 冒頭2)のワイドダイナミックレンジモードの場合

 私が”左右二つの画素を同じ露光時間制御のセットにするのでは?”と前回予想した根拠が、上図の様に”1行に2本の転送スイッチ用の配線を配置する必要が無いから”だったのですが、
この特許を信じるとソニーはそれを厭わず、1行に2本の転送スイッチ用の配線をレイアウトしていますね。
1.1um□の画素ピッチの中に転送用の配線を2本配置する・・・
表面照射型センサで仮にこれをやってしまったら、如何に昨今の微細加工プロセスであったとしても他の配線と電源と合わせて最早フォトダイオードを遮光してしまいますね(^^;)
正に裏面照射型センサの恩恵をフルに活用したワイドダイナミックレンジ達成方式という見方も出来るのではないでしょうか。

 図13のワイドダイナミックレンジモードの場合は、
(各横の配線と○が交差している画素の転送スイッチとが接続さているという意味で描かれていると思われます)
LAとLDを転送時に同時にON。そして次にLBとLCを同時にON・・・
という風に制御していくと、この繋ぎ方であれば、同じ露光時間のペアの画素信号が同時に共有されているFDに転送され、そこで信号加算され、以後は同一のひとつのデータとして読み出すことが可能です。


図14 冒頭3)の4画素FD加算モードの場合

 配線の繋ぎ方は当然(同じセンサで実現するため)図13と全く同じです。
ただ、制御の仕方を変え、
LA~LDまでの4本の制御配線を同時にON。次にLE~LHの4本の制御配線を同時にON・・・
上記制御で、同一カラーフィルタ下の4つのフォトダイオードからの画素信号を、共有しているFDに同時に転送し、そこで信号加算されて、以後ひとつのデータとして読み出すことが可能になります。
 上図では、一応画素の色分け(露光時間の別)がされている様に見えますが、個人的には実際にはこのモードを使う時にはワイドダイナミックレンジモードでは無くて、4画素が同じ露光時間になるように制御された通常撮影の場合だと思います。



 次は、実際の画素の等価回路図です。
いくつものパタンが「これでもか!」というぐらい並べられているのは特許でなるべく多くの権範囲を抑えたいがためのご愛嬌(^^;)
私が”実際に使っているのはこれだろうな”と思う代表的なものを以下ひとつだけ転載します。

今まで紹介してきた図8や9や10のレイアウト図面通りの4画素でFDを共通にする投下回路図です。
(これ自体に特に特許性があるとかそういうことは無いはずで、よくあるごくごく普通の等価回路なはずです)


 最後に、
冒頭③において2種類2個ずつにフォトダイオードの露光時間の長短を分けると書きましたが、厳密にはこの特許にはもう一つの方法として、”何らかの方法で高感度と低感度の2種類2個ずつのフォトダイオードを形成しても良い”という様なニュアンスの記述がなされています。
 が、”特許は取れるものならなるべく広く権利を取得したい”という大人の事情で書かれることが多いと思われるため(^^;)の戦略であり、
 通常のHDR読み出し以外の単なる加算読み出しする場合を考慮すると、
 または、特許に感度を変更する具体的な記述が一切無いことを考慮すると、
まず間違い無く実際には、フォトダイオードの物理的な感度変更を行ってはおらず、露光時間の変更による感度変更を行ってワイドダイナミックレンジ化を行っているものと思います。



拍手[5回]

PR

コメント

お名前
タイトル
文字色
メールアドレス
URL
コメント
パスワード Vodafone絵文字 i-mode絵文字 Ezweb絵文字

無題

マニアさん
特許の詳しい解説ありがとうございます。
私もマニアさん説に1票です!(笑)
細い線の重心ずれって、レンズ収差のせいで2線ボケみたいに写る感じと同じなのかな。
とにかくワンショットでHDRの自分撮りができるようになったのはとても有り難いです♪(^^)

Re:無題

>私もマニアさん説に1票です!(笑)

 ”私も一票”・・・
というか、これはchiffonさんに教えていただいた特許情報が元ですよ。
その特許を読んで”私がchiffonさん説に一票投じた”んです(^^) 

>細い線の重心ずれって、レンズ収差のせいで2線ボケみたいに写る感じと同じなのかな。
 どうなんでしょうね。
今回の場合のみ考えると、”同色内で露光時間の異なるHDR用の画素の重心ずれ”なんで、極端にはHDR合成後にほとんど消えてしまうなんてことに??
(↑たとえば細い線が露光時間の長い画素の方にのみあった場合、そのあたりの背景が明るく飛び気味の場合は露光時間の短い画素の方が最終画像に重用されほとんど見えなくなってしまう?みたいな。←HDRはこんなアルゴリズムじゃない!?)

>とにかくワンショットでHDRの自分撮りができるようになったのはとても有り難いです♪(^^)
 私はスマホのフロント側のカメラでほとんど写真を撮ったことはありません(^^;)

  • imagerマニア
  • 2014/11/29(Sat.)

無題

このような工夫も面白いのですが、シンプルな配線でノイズを減らしADCの実精度を向上させたセンサーも作って欲しいですね。2bit分ノイズが減れば、実行ダイナミックレンジは4倍になります。
冷却できないので難しいでしょうが…。

Re:無題

>このような工夫も面白いのですが、シンプルな配線でノイズを減らしADCの実精度を向上させたセンサーも作って欲しいですね。

 ソニーからしばらく前にIMX230という2100万画素1/2.4インチのHDR動画および静止画が撮影可能なスマホ用センサが発表されてますね。
計算すると、おおよそ1um□の画素ピッチになりますので、少なくとも、今回のblogで紹介した特許の方法は(実際の画素ピッチが0.5um□になってしまうため、現在の技術では)使えないと思われます。
http://www.sony.co.jp/SonyInfo/News/Press/201411/14-112/
HPによると、「従来から画素の配置と信号処理を進化させること」によって達成しているようですが、果たして今度はどういうことを行っているのでしょうね。

  • imagerマニア
  • 2014/11/29(Sat.)

無題

hiーlowさん

配線とノイズってかんけいあります?

Re:無題

>hogeさん
はじめまして。imagerマニアです。
もう見られていない可能性大な気もしますが、横からひとつだけ。

個人的に、議論を持ちかけるのは(少なくとも幣blogにおいては)好ましいことの様に感じています。
ですので、出来ればもう少し建設的雰囲気でのコメントをお願いしたいのと、少なくとも議論の相手を名指しされる場合には、ご自分も固定ハンドル的な投稿名を選ばれることを希望します。

  • imagerマニア
  • 2014/11/29(Sat.)

マニアさんへ

乱暴でしたね。。
画素で配線の充填率を下げることでよくなる特性って、クロストーク(裏面だったら電気的な)だったりかなぁーと思ってます。
もしくは、機能削減すると素子充填率が下がるので、読み出しトランジスタを大きくしてノイズ低減!とかですかね。
よく理解できていないので質問させていただきました。
真面目に作ったので他の供給元よりも幾分特性よいです!よりも、他の供給元にはない有用な機能を実装しています!のほうが案外キャッチーだったりします。

Re:マニアさんへ

 >hogeさん

>よく理解できていないので質問させていただきました。
 というかむしろお詳しいですよね(^^;)。

>画素で配線の充填率を下げることでよくなる特性って、クロストーク(裏面だったら電気的な)だったりかなぁーと思ってます。
 私もその様に思います。
あと、こういうのを”充填率”と表現するものなんですね。

>もしくは、機能削減すると素子充填率が下がるので、読み出しトランジスタを大きくしてノイズ低減!とかですかね。
 ここで言う”読み出しトランジスタ”とは、ソースフォロワ(画素内アンプ)のことを指していると思えば良いでしょうか。
そして機能削減とはWDR機能を削減することで、そのことによって画素ピッチが1umから2um□ピッチとなることでソースフォロワの面積が稼げるということをおっしゃられていると思えば良いでしょうか?

>真面目に作ったので他の供給元よりも幾分特性よいです!よりも、他の供給元にはない有用な機能を実装しています!のほうが案外キャッチーだったりします。
 そういうものなんですね。

http://www.sony.co.jp/SonyInfo/News/Press/201411/14-112/
ソニーは像面位相差AF用の処理ICもオンチップ化しちゃったみたいですし、確かに多少のノイズの多寡よりも、有用な機能の有無の方が、使う側からしたら気になるところなのかもしれませんね。

 新しいエントリも(まどろっこしい書き方ですが^^;)立てましたが、何か誤っているところ、気になるところがありましたらご指摘お願いします。

  • imagerマニア
  • 2014/12/07(Sun.)

hogeさんへ

PDからADCまではアナログなので、配線の接合点や折り曲げが無い方がノイズは減るかなとの単純な発想です。

ブログ内検索

カウンター

カレンダー

11 2017/12 01
S M T W T F S
1 2
4 5 6 7 8 9
11 12 13 14 15 16
17 18 19 20 21 22 23
24 25 26 27 28 29 30
31

バーコード

プロフィール

HN:
imagerマニア
性別:
非公開