私がこの発表に目を付けた理由は、
一回露光で87dBのダイナミックレンジの数字は出色だったのと、そのための画素回路の工夫(？)が”なるほど頭良いな”と感じたからです。
(注：一回露光ですが、同じ画素信号を読み出しゲインを変えて2度読みだすことをしてのダイナミックレンジの数字です)
以下、まず主要スペック
クリックしないと見えないと思いますので、主要なところを抜き出し、
更に、表にはありませんが、本文中にある情報を抜き出すと以下。
センサー表裏？ ：裏面照射型センサ
画素ピッチ ：3.0um□
光学フォーマットサイズ：1/2.7インチ
有効画素数 ：1928×1088 ≒FHD ≒200万画素
フレームレート ：120fps @ノーマルモード
60fps @SEHDRモード ＝87dBダイナミックレンジが出るモード
飽和電子数 ：27000電子 @ノーマルモード
23000電子 @SEHDRモード ＝87dBダイナミックレンジが出るモード
感度 ：24000電子
ランダムノイズ ：
1電子 @maxゲイン読み出し時
消費電力 ：280mW @120fpsノーマルモード
使用プロセス ：65nm ※MIMやPIP等のCapasitorの追加無しの通常CMOSプロセスまま
パッケージ形態 ：48pin
PLCC
画素数からすると、スマホやコンデジ用途の撮像素子は狙っていないものの様に見えます。
ほぼFHD相当の画素数で、特に一回露光でのHDRを売りにしているところからも、動画に特化したセンサと見て間違い無さそうです。
87dBというダイナミックレンジ達成の原動力(？)となっているはずの、ランダムノイズ1電子というのも、普通に製品化されているようなイメージセンサの中ではトップクラスの数字ではないかと思います。
また、後に貼り付けますが、この回路と駆動方法ではグローバルシャッター化は無理なので、本センサはローリングシャッターセンサです。
この発表paperのIntroductionにおいては、
丁度弊blogのこのエントリの様な従来のHDRの方法を挙げ、かつそれらのデメリットを挙げてまずSingle ExposureかつSingle受光素子(？)でのHDRの重要性を説いています。
つまり、上記リンク先の①、②、③の様な方式では、露光のタイミングが行ごとやら画素ごとやらで異なるため、動体の歪みや、LEDの様なパルス光源のフリッカーが出る問題、
及び2種の露光時間違いの画像の継ぎ目？位置ではSNの劣化が起こると言っています。
また④の富士のスーパーCCDSRⅡの様な低感度PD及び高感度PDを一つの画素に作りこむハイダイナミックレンジ方式は、光学性能を出すことが難しく、
つまり、角度のついた入射光に対する2つのフォトダイオードへの入射の均一性、及びクロストーク(≒混色)、また入射光の波長に対する感度の均一性といった特性に無理が来るとの主張です。
更には、LOFIC(弊blogでは取り上げたことは無いですが、主に東北大学が取り組んでいる、画素内に大容量MOSキャパシタを具備することによりHDR化を図る方式。
今年のVLSIシンポジウムでもソニーから同形式を用いたセンサの発表があった←19-4)に関しても、
single Exposureで凄いHDRを達成しているものの、
LOFIC(Lateral OverFlow Integration Capasitor)はフォトダイオード外に電荷蓄積ノード(≒Capasitor)を持つ必要があり、
製造上、そのノードのリークと欠陥低減を図るのは大変チャレンジングなことだ(≒困難なことだ)と言っています。
結果、本Paperの様な素直な(？)Single Exposureのハイダイナミックレンジセンサの開発は重要だとの主張です。
では、このBrillnicsという会社のセンサは一体どのようにしてHDR化を達成しているのでしょうか？
まず、何とかしてノイズを減らし、何とかしてフォトダイオードの飽和(Full Well Capasity)を増やし、純粋にダイナミックレンジを伸ばす(^^;)
↑どうやって双方を減らしたり増やしたりしたのかは本paperには未記載(^^;)
飽和の方に関しては、
同じIISW2017で別Paperが発表されており、そちらにはフォトダイオード中のp-n接合形成を工夫することによりフォトダイオード飽和を4万電子まで増やした旨の記載あり。←しかし、本発表の飽和電子数の特性を合わないため、本paper記載センサではこの飽和アップ策は用いられていない！？
その上で端的には・・・
◆同一画素信号を読み出しゲインを変えて2度読み出し、オンチップのデジタルプロセッサーでそれらを合成(？)処理して
HDR化を達成している様です。
2度読み出しても露光タイミングは同一の信号データを二度読みだすだけなので、SingleExposureです。
ただし、この方式自体は目新しいものでは無いと私は思います(≒過去にも同様のことを行っているセンサはあったと記憶します)。
しかし、達成している87dBという数字は良い数字だと感じます。
何故なのでしょうか？
最新微細プロセスを使っているから・・・？
具体的には・・・
↑画素部等価回路図
上下の2画素で、FDと画素アンプを共有する方式の様子
また、(n-1)と(n+1)の画素のリセットスイッチは不図示
ポイントは通常のセンサには存在しないBIN1、BIN2のスイッチ及びBIN2のスイッチで縦にずっと繋がる配線。
このスイッチを信号読み出し時にON/OFFして、いわゆるFD容量の値を切り替え(≒読み出しゲインを切り替え)ます。
この場合、以下の3種が選べます。
①BIN1もBIN2もOFFまま ＝ FD容量最も小さい ＝ 最も高ゲイン読み出し
②BIN1のみON(BIN2はOFFまま) ＝FD容量中間 ＝ ミドルゲイン読み出し
③BIN1もBIN2もON ＝ FD容量最も大きい ＝ 最も低ゲイン読み出し
上記読み出し方法の駆動タイミングが以下
※_SHは、恐らくSample Holdの略で、RST SHはCDSのFDリセットレベルの信号サンプリング。対してSIG SHはフォトダイオードからの信号サンプリングタイミングを表しています
※上図は便宜上①(最大ゲイン時≒主に暗部狙い)と③(最低ゲイン≒主に明るい＝飽和信号狙い)の信号を読みだす場合
(対して点線タイミングは①と②≒中間ゲイン読み出しの場合)
まず、
1) BIN1及びBIN2をONした状態でリセット(スイッチON)
2) リセット終了後(≒リセットスイッチOFF後)にBIN1及びBIN2スイッチONのまま、リセットレベルサンプリング
※これでFD容量が最も大きい≒飽和信号が最もためられる状態の、CDS用のリセットレベルサンプリング完了。以後同様に
3) BIN1及びBIN2スイッチOFF後(これでFD容量が最も小さい≒SN比が最大に出来、暗部信号を最大に拾える状態の)リセットレベルサンプリング
4) 転送ゲートをON⇒OFFし、フォトダイオードから信号電荷をFDへ転送
5) FD容量が最も小さい読み出しゲイン最大の状態の信号レベルサンプリング
6) BIN1及びBIN2をONし、FD容量最大の状態で、更にもう一度転送ゲートをON/OFF
※恐らくここで期待しているのは、一度目の転送ゲートON⇒OFF後からのわずかな時間にフォトダイオードにたまった信号電荷を再度FD部に転送 ≒ 飽和信号を少しでも稼ぎたいということだと思われます
7) FD容量最大時の信号レベルをサンプリング
個人的にこの発表でケチをつけるとするならf(^^;)、この6)の箇所
一度目と二度目の転送ゲートON⇒OFFの間隔って恐らく長くても数μSecとかのオーダーだと思いますが、だとて超々厳密な意味ではあんなにこだわってたSingle Exposureじゃなくなってるじゃない？
というのと、
一度目の転送ゲートON⇒OFF時のメインの信号電荷を転送する時は、FD容量は最小値の状態(＝BIN1&2はOFF状態)。
なので、ここで”もしも”FD容量のキャパを超える(≒溢れる？)ほどの信号電荷がフォトダイオードからきてしまった場合には、そこでFDがサチっちゃうので、その後BIN1&BIN2をONしたとしても一度溢れた電荷は戻せないから”FD部のダイナミックレンジだけ考えたら”この動作はあんまり意味無い気がする・・・
(厳密には二度目の転送ゲートON/OFFまでの数μSecの期間にフォトダイオードに蓄積された信号分しかHDR化の恩恵が無い気がする・・・)
というもの(^^;)
まあ後者の件については、読み出し回路後段のダイナミックレンジまで考慮すると、
FD容量最小時には、フォトダイオードの飽和2.7万電子がきてしまうとFD部は問題無くても後段の回路でサチってしまって2.7万電子読み出せない・・・
というのであれば、この(BIN1及びBIN2をONしてFD部及び垂直信号線部での飽和振幅を抑える)駆動方法の効能は出てくることになりそうです。
恐らく回路ダイナミックレンジの設計上、上記の様な状態だということでしょうか、私の誤解が無ければ・・・
(上記回路ダイナミックレンジの解釈が正しければ、逆に言うと6)の部分の二度目の転送ゲートON⇒OFF駆動は無くても≒真のSingle Exposure駆動にしても、HDR化の恩恵は受けれそうにも思います)
総じてこのHDRの特性を得るためのデメリットは、
画素部のBIN1及びBIN2のスイッチ、更にBIN2を縦につなぐ配線が、通常センサよりも余計に必要になるという点かと思います。
が、恐らく
・65nmという微細プロセスを用いていること
・裏面照射型センサであるということ
の2点により、上記素子や配線が通常センサに対して余計に多いということによる他の特性への悪影響は最低限に抑えられているということなのかと予想します。
そういうことであるとするならば、それを見越してこの画素回路及び駆動方式を考えて採用したのは頭いいなと思いました。
また、このセンサの重要な特徴であると思われる87dBというダイナミックレンジの数字ですが、
適切な比較対象かわかりませんが、例えば
数年前のSAMSUNGのミラーレスレンズ交換式カメラNX1
これに搭載されていたと思われるセンサが、
・画素ピッチ：3.6um□
で、
・ダイナミックレンジ：77dB
です。
2～3年前のセンサ相手とはいえ、
・画素面積：約7割
で
・ダイナミックレンジ：約3倍
ですので、(他の種々の条件や目的が異なるとはいえ、)十分凄い数字ではないかと思います。
本センサの重要なところは上記までと感じますが、以下画素外も含めた読み出し回路の等価回路図
本文中では各行の転送ゲート配線が2本ずつある(上図TG1a/TG1bなど)ことについて触れられていますが、
これは下側のアンプとADCが、2列に一つしか存在していないため、隣接列を同時に読みだすことが出来ないための措置であると。
ですので、このセンサ固有の都合であるのであまり気にしなくて良いと思われます。
画素ピッチ3um□と、あまり大きな画素ピッチでは無いため、レイアウト及びチップサイズの都合上2列に一つの列回路としたのではないでしょうか。
(1列に1つの列回路が存在する場合と比較しての)デメリットはフレームレートの低下か。
(逆に言うと所望の画素数とフレームレートの仕様を達成できていれば、この回路規模削減は合理的な設計指針だと思われます)
で、このアンプゲインは可変で、x1倍、ｘ２倍、x4倍、x8倍の4種を持っているということです。
FD容量切り替えで3種のゲイン切り替えが可能ですので、都合3x4＝12通りの読み出しゲインの中から、Highゲイン及びLowゲインの2種の読み出しゲインの組み合わせを、エンドユーザーの使用条件に合わせて適切に選べということでしょう。
↑各ゲイン設定時の光電変換特性図
※ちなみに”＊PG”は、Pixel conversion Gainの略
HPG、MPG、LPGそれぞれの読み出しモード時のコンバージョンゲインは以下だとのこと
HPG：152 μV/e-
MPG： 38 μV/e-
LPG： 21 μV/e-
MPG時を基準にすると、それぞれのゲイン比は、
4.0 : 1 :0.57
↑ゲイン組み合わせ12通りの内、
MPG & analogゲイン(列アンプゲイン)x1倍
HPG & analogゲイン(列アンプゲイン)x8倍
の組み合わせの、HDRモード時の光電変換特性 (一番上側のプロット)
上記組み合わせでゲイン比が1:32
横軸1を少々過ぎたあたりで、ノイズがガクッと非連続になんっているところが、恐らく双方のゲインで取得した信号のつなぎ合わせ(？)部。
本文中に、
”この条件では16bitのデジタル出力レンジのために23000電子で飽和信号がクリップされる”
という様な記載があるため、
MPG(ミドルPhoto conversion Gain)で読みだすと、フォトダイオード飽和27000電子が(AD入力前のアナログ振幅が大きすぎることによると思われる)制限で有効に使い切れていないという様な雰囲気に見えます。
ということは、analogゲイン＝列アンプゲインはx1倍で、設定上最下限ですので、
やはりLPGモードで読みださないとフォトダイオード飽和をすべて有効には使えない状態であると思われます。
だとすると、何故ここであえてMPGモードでの読み出し結果を載せたのでしょう？
あまりに二つの読み出しゲイン比が大きくなりすぎると、二つの信号のつなぎ目で破綻が起きるのか
または、画素部でBIN2のスイッチをONして読みだすと、縦方向の配線が読み出し信号に振られたりして、それがクロストーク等良からぬ副作用を起こすのか
何か実際にはネガティブな結果が裏で得られていたりするのでしょうか？(^^;)
↑左：従来の複数回露光でのハイダイナミックレンジ画像
右：本センサ推奨のSingle Exposure モードでのハイダイナミックレンジ画像
撮影対象は、LED光源がグルグル回っているもの
クリックして拡大して見て頂かなければわからないのですが、左下の画像では、LED光源のそれぞれに、黒い陥没した穴が光源そばに空いている様に見える画像になっています。
今回の発表センサの方式であれば、ダイナミックレンジを稼ぎながら、この様な不具合な画像？にはならないよ ということの様です。
PR
[5回]