pcWatchさんの記事にもありますが、pcwatchさんの方でもやはりこの発表センサが、
NABでソニーさんから発表されたTV局向けの”HDC-4300”搭載センサだろうという風に予測されてますね。
まあ上記記事でも”スローモーション・インスタント・リプレイを可能とする”という、如何にもTV局カメラでしか使わない様な表現を用いているので、もう間違い無いでしょうね。
ちなみにこのHDC-4300というTV局向けカメラ、
NBA(←紛らわしいですが、NABで無いことにご注意。こちらはバスケの方です^^;)というデカイ舞台で既に正式デビューしていますね。
ということは、
最早このセンサは完全実用レベルという風に見て良いと思います。
上記資料では
・4K480p
・低ランダムノイズ
・積層
・グローバルシャッタ
の4点をトピックとして取り上げています。
間違い無いと思うのですが、以前も書きましたが、
グローバルシャッタセンサは最早ソニーとしては当たり前な感がありますし、pcWatchさんに取り上げられている資料にも詳細な記載は一切無いため、ここではスルーすることにしようと思います。
まず今回のpcWatchさんの記事のお陰で、個人的に最大の謎であり、かつ興味があった点、
発表タイトルの”2-on-1 stacked”構造の概要が明らかになりました(^^)
周辺の信号処理回路(正確には元記事によれば、ADC回路のロジック部≒ADのコンパレータは含まない)を上に載せるチップ側に配置した積層構造で、
・画素領域上下の周辺信号処理回路が別々の2チップで
・マイクロバンプによって
積層されている、
言わば、
今までの各社の積層センサは(フォトダイオード搭載基板を基準に表現すれば)地下1階構造だったのに対して、
今回発表のソニーセンサは、”地上2階建て”、もしくは”1部屋の両側に一つずつロフトがある”様な構造になっていますね。
画期的！！・・・
・・・間違い無く画期的ではあるのですが、しかし正直今までの積層センサ構造とどちらがスマートかと言われれば、個人的には間違い無く今までの”地下2階建て”構造の方がスマートで先進的だと感じます。
理由は、今回の構造では(
以前も推測で書いていましたが)
1)間違い無く、
Wafer to Wafer の積層製法が使えない
(↑少なくとも、上に載せる周辺信号処理回路の2チップはチップに切り分けられてから載せられる≒製造のスループットが良く無い≒”普通は”高コスト)
2)接合方法がマイクロバンプ
(↑これは単純に私のイメージで、
TSVとかCu-Cuのダイレクトボンディングの方が先進的だと感じているに過ぎません^^;。ただし、メカ的な応力とかまで考え出したり、より密な接合を今後行いたいと考えた場合には、やはりバンプ接合はスマートとは言い難いと思います)
3)今までの地下2階積層の方が単純に使える回路領域が多い(≒広い)
(↑地上2階建て構造では、センサ受光部の真上部分に積層することは出来ない)
まあ1)などはメリット/デメリットがあるはずで、
チップ切り分け(≒ダイシング)後に貼り付ける(≒積層する)方が、”テストで良品だとわかっているチップ同士のみ貼り付ければ良い”ため、
(super35mmなどの大面積チップ≒不良率が高いもの同士のチップの場合にはウェハ同士で最初に貼り付けるよりも)最終的なコストは安くなる可能性はあると思うのですが、今回はそのケースに該当しているのでしょうか。
もしそうではなかったとしても、今回の積層構造を取る場合には小さい上に乗せる側はチップ状態にしてからでないと積層出来ない訳ですが・・・
そして2)も、”チップ状態にしたものを上に載せる”という製法を取る時点で、最早消去法的にマイクロバンプによる接合になってしまうのでしょうね。
私の知る限り、一度チップ片になってしまったもので、TSVやCu-Cu直接ボンディングなどの半導体的な(？)製造方法を取ることは難しい(恐らく現状不可能)だと思います。
で、
じゃあなんで今まで通りの地下1階構造の積層センサにしなかったのさ？
私には
”super35mmフォーマット(≒APS-C)サイズの大面積チップでは、まだ今までの積層センサを作るのは難しかった”
(現状発表されている中では、積層センサで最大サイズは1インチまでのはず)
という理由しか思いつきませんが、実際の理由がそうなのかどうなのか、知りたいところです。
で、もう一つの疑問点だったタイトルの
”Gain-Adaptive Column ADCs”の方ですが、
こちらはpcWatchさんの記事によれば、
”
各画素の信号量に応じて利得を最適化するADC回路がある。撮影対象が暗い(画素の信号量が少ない)時は高い利得の回路を、撮影対象が明るい(画素の信号量が多い)時は低い利得の回路を選択する。”
そうなのですが、この文言だけだと今一つピンと来ません。
↑上記該当説明箇所に付されている図
この説明では、得られた結果・・・すなわち”この方法でも高いリニアリティ＝入力信号に対する出力信号の高い線形性が得られた”ということしか書かれておらず、上記の文言以外に(original記事にある)”新開発の要素技術”を推し量る情報がありません。
あえて言えば、図にある”Gain-switching point”というのがあることから、Gain-Adaptiveの示す通り、”入力信号の明暗によってゲインを切り替えているんだな”ということはわかります。
そこで、久々に気合を入れてソニーが出している特許を調べてみました・・・英語は読む気が起きなさそうだったので、日本語だけですがf(^^;)
で、見つけたのがコレ↓
◆
JP 2011-211535
(
このページの一番上の欄に上記コピペして照会すれば出てくると思います)
【要約】 【課題】高速で高解像度のＡＤ変換が可能となり、適切 に縦筋がキャンセルされた良質の撮像データを得ること が可能で、しかも水平転送量の増加を防ぎ、フレームレ ートの低下を抑えることが可能な固体撮像素子およびカ メラシステムを提供する。
↑特許冒頭の要約より。
縦筋がキャンセルうんぬんはともかく、その他の”高速で高解像度のAD変換が可能”、”フレームレートの低下を抑えることが可能”というあたりは、今回の発表センサとマッチする内容に見えます。
で、実際のGain-Adaptiveに相当しそうな箇所ですが、
↑図9
特許の内容をここで全て説明するには特許と同じくらいの長さの文章をタイプかコピーしなければならないため、それはやめて(^^;)
細かい前提は飛ばして私が要所と思うところだけ以下。
ソニーセンサは公表されている限りでは、センサのオンチップ列ADCにはSlope積分型と呼ばれるものが今まで使われていました。
そして一番最初の写真資料によれば、今回発表センサも同様の様です。
で、上図(D)L261の斜めの線が何本か出てくるのが、ADのコンパレータに入力されるいわゆる参照信号というやつです。
それと(E)SIGが、画素からのアナログ信号で、これらをコンパレータで比較して値が等しくなるまでの時間をカウントしてアナログ信号の大小をデジタル信号に変換する仕組みです。
(↑超大雑把ですが^^; つまり、大きなアナログ信号は参照信号と等しくなるまでの時間がより多くかかり、逆に小さなアナログ信号の場合は参照信号と等しくなるまでの時間が短いという様な関係性が、上図の各信号波形からわかります)
また、CMOSイメージセンサは、通常CDSと呼ばれる、画素リセットノイズが載った各画素信号を先にAD変換し、その後実際の各画素信号(＋上記リセットノイズ信号)をもう一度AD変換し、最後に両者を差分することにより、リセットノイズの無い正味の信号成分を抽出することにより低ノイズ化を図っています。
上図に照らし合わせると、全者がZD1とZD2、後者がSD1、SD2と書かれている期間に相当しそうです。
と、以上までが最低限の前置きなのですが、
通常、上記CDS用のAD変換は”1回ずつだけ”です。つまり上図で言えば、ZD1とSD1だけで終了です。
ところが、この特許では、
参照信号のSlope(傾き)が異なる者同士で1セットずつ計2セット行っていることがわかります。
これが正しく今回発表されたセンサの”Gain-Adaptive ADCs”の指すところなのかな？と思いました(≒そう思って、この特許をここに紹介しています)。
通常1セットで済むところを2セット行ってしまうと、”なんだ余計な時間が掛かっちゃってむしろ低速読み出しセンサになっちゃうじゃないか？”
と思う訳ですが、
暗いところから飽和信号まで双方とも通常通り全ての画素をAD変換してしまうのでは無く、
変換精度がより求められる暗い方の信号を緩い傾き(≒時間分解能が高い＝少しの信号差がより大きな時間差になる)でAD変換し、
ある一定以上明るい(光ショットノイズがノイズの支配要因になり、変換精度が相対的に不要な)画素に関しては、より急峻な(≒時間分解能は相対的に低い)Slope(傾き)でコンパレータで比較してAD変換するという風にこの特許では使い分けています。
そうすると、上記Slope(傾き)の選択次第ではAD変換スピードが短くもなる場合がありそうです。
例えば、ZD1とSD1の期間のSlopeを基準として”傾き1”とすると、ZD2とSD2の傾きをその4倍の”傾き4”とし、
変換に必要なDレンジの暗い方から1/4の明るさの画素はZD1とSD1の期間でAD変換し、暗い側から1/4～4/4(＝飽和)の明るさの画素をZD2、SD2でAD変換すれば、
”全ての画素を傾き1でAD変換するのに比べれば”理屈上(あくまで理屈上ですが)半分の時間で全ての画素をAD変換することが出来ます。
で、実際今回ソニー発表センサがどうしているかと言うと・・・
↑上表の”Analog gain”の項参照
”Adaptive gain：0dB / 12dB”の文字が。
上記が上の特許でいう参照信号(Slope)の傾きを表していると思われます。
そして0dBを基準とすれば、12dBはその4倍。
ちょうど、上の例で書いた通りの比率です(というか、この数字を見てから上の例を記載しました^^;)。
という訳で、理屈上はこの方法を使えば列ADでの信号変換期間は半分にすることが出来ることになりそうです。
(実際には特許の図を見ればわかる通り、ゲインを切り替えたりするところなどで余分な時間が掛かったり、上記半分になるのはSD1とSD2の画素信号変換期間の方であって、ZD1とZD2の時間は短くならず、むしろ2回行う分だけ延びたりするので、そこまでの時間短縮効果は無いと思われますが)
と言う訳で、この特許の技術が今回発表のソニーセンサで本当に使われているのかどうかは定かではありませんが、一応pcWatch記載の”
撮影対象が暗い(画素の信号量が少ない)時は高い利得の回路を、撮影対象が明るい(画素の信号量が多い)時は低い利得の回路を選択する。”などの文言には矛盾が無い気がします。
あとは上の表でいくつか個人的に気になるところをピックアップして終わろうと思いますが、
まず、
①power consumption(消費電力)：480fps時の5.23W
でかい！
いや、性能からすれば妥当かむしろ小さいんじゃないか？というのは理性的に理解しつつも(←実際60fps時の2.15Wと比較すれば480fpsの方がフレームレート換算すれば効率が良いという見方も・・・)、やっぱり絶対値的には大きいですね(^^;)
ある程度の小型化が求められる、もしくはバッテリー駆動が基本の民生機ではこのままでは480fpsの性能は出せそうもありません。
②Fabrication process(製造プロセス)の、ロジック基板(今回の2階のロフトの方使用)：65nm 1P9M
9メタル(金属配線層)使用・・・記憶では、今までのイメージセンサ使用の微細プロセスにおいても9層メタル使用というのは見たことが無い気が・・・
(実際、例えば先日のNHK技研公開で公開されていた33Mpix240fpsセンサのロジック基板は1P5M＝メタルは5層使用)
それだけ高速読み出しの信号処理のために回路を詰め込んだということなのか、
もしくは5.23Wの大消費電力を支えるための電源/GND配線を入念に引き回しているということなのか・・・
③Output interface(出力規格):16chｘ4.752Gbps/ch SLVS-EC
前回エントリでも触れましたが、もう単純にこのCPUの周波数も真っ青な出力レートは凄いです。
実際には”Gbps”なので周波数に直すと半分の2.376Hzではあるのですが、それでもという感じです。
例えば、他のセンサは以下の様な感じです。
CMOSISの特殊な200万画素700fpsセンサは700Mbps
ONSemiの恐らくスマホ狙いの2500万画素1/2.1インチセンサは1.2Gbps
Samsungの恐らくミラーレス一眼に搭載された28MpixAPS-Cサイズセンサは、500Mbps強(←16chで8Gbpsオーバーというところから1chあたりを逆算)
後者二つは民生機向けとは言え、いずれも4.752Gbpsとは大きな隔たりがあります。
(まあ出力インターフェース規格自体異なるというのもありますが)
④parasitic light sensitivity：-99.6dB
↑グローバルシャッタセンサなので、フォトダイオード以外の場所(≒画素内メモリ)でしばらく信号電荷を保持しておく必要があり、
フォトダイオードが感光している間も、その傍で遮光されているメモリには前フレームの信号電荷が存在することに。
別の言い方で言うと(？)、例えば前フレームが闇で信号電荷が本来”0”であるべきところに、次フレームの光が画素部に照射されることによって、どれだけ前フレームに偽光信号としてメモリ部で感光してしまうか？を示している指標と思われます。
ですので、符合は負(マイナス)で、小難しいことを考えない場合は”絶対値はなるべく大きな数値を出す方が良い”という指標です。
感覚的に-99.6dBがどの程度の性能なのかわからないので、他製品と比較することにすると、
丁度昨年のこのVLSIシンポジウムにおいて、オリンパスが16Mpixの”積層センサによる”グローバルシャッタセンサの発表を行っていました。
オリンパスのこのセンサはまだ実用にはなっていないと思いますが、4画素に一つやはりバンプで画素下のbottom基板と電気的に導通しており、”画素内メモリがbotoom基板側に存在する”という特殊な構造をしていました。
↑グローバルシャッタセンサとしてはこれが結構有利な構造で、その有利な点の一つに”bottom基板にメモリがあるので、メモリを遮光しやすい”というのがあります。
で、上記センサのparasitic light sensitivity が-180dBでした。
この数字と比較してしまうと、(今回のソニー発表センサは画素内メモリは通常のフォトダイオードのそばにある構造であるためか)凡そ80dB分≒約1万倍性能が劣ることになります。
では-99.6dBが絶対値としてどの程度のイメージかと言うと、
今回発表のソニー製センサは動画センサなのにAD分解能は(元記事によれば)14bitですので、
仮に次フレームが飽和信号justの16383LSB出力相当の光を受けた時、前フレームの信号が”0.165LSBだけ疑似的に浮いてしまう”という性能です。
これを多いと思うか「全く問題無いじゃん」と思うかは人それぞれだと思いますが、太陽の光などがフレームに入った場合は、センサの飽和信号量の何十倍もの光量を受けているということは十分にあり得ますので、
その場合は太陽をフレームインしたままカメラを振った場合には残像として見える危険が・・・
というより、そういう場合は動画像全体が明るい場合がほとんどで気にならないかもしれないので(^^;)、
実際に気になるシーンとしては、線香花火をフレームインしてカメラを振った場合に”残像が気になる”という様なことがあるかもしれない・・・という感じなんでしょうかね。
⑤ (上でサラッと書いてしまったのですが、)4Kで480fpsなのにも関わらず、AD分解能は14bit
これは何気に凄いことだと思います。てっきり12bit分解能だと思ってました。
ちなみに、比較までに記しておくと、NHKの8K240fpsの超速信号読み出しセンサのAD分解能は12bitでした。
PR
[3回]