忍者ブログ

Imager マニア

デジカメ / デジタルビデオカメラ / スマホ用の撮像素子(イメージセンサ/imager/CMOSセンサ)について、マニアな情報や私見を徒然なるままに述べるBlogです(^^;)

ソニー4K480fps積層グローバルシャッターsuper35mmフォーマットセンサ ~VLSIシンポジウム@ハワイ

以前、今年6月開催のVLSIシンポジウムでのソニー発表のイメージセンサの件について、発表タイトルだけからあれこれ推測で書きました
そして先週も一部日経系のサイトの記事の内容を取り上げたのですが、如何せん詳細が不明なまま(--;)

で、その後、完璧では無いものの多少詳細な内容がわかる記事がpcWatchに掲載されましたので、今週のエントリはそこから頂こうかと。
例年pcwatchでも最近はイメージャー発表件も1件くらいは取り上げてくれる傾向にありましたので、期待はしていたのですが(^^;)

pcwatchさんより。大元の出所は写真下部の通り”VLSI回路シンポジウム委員会”作成資料
pcWatchさんの記事にもありますが、pcwatchさんの方でもやはりこの発表センサが、NABでソニーさんから発表されたTV局向けの”HDC-4300”搭載センサだろうという風に予測されてますね。
まあ上記記事でも”スローモーション・インスタント・リプレイを可能とする”という、如何にもTV局カメラでしか使わない様な表現を用いているので、もう間違い無いでしょうね。

ちなみにこのHDC-4300というTV局向けカメラ、NBA(←紛らわしいですが、NABで無いことにご注意。こちらはバスケの方です^^;)というデカイ舞台で既に正式デビューしていますね。
ということは、最早このセンサは完全実用レベルという風に見て良いと思います。

 上記資料では
・4K480p
・低ランダムノイズ
・積層
・グローバルシャッタ
 の4点をトピックとして取り上げています。
間違い無いと思うのですが、以前も書きましたが、グローバルシャッタセンサは最早ソニーとしては当たり前な感がありますし、pcWatchさんに取り上げられている資料にも詳細な記載は一切無いため、ここではスルーすることにしようと思います。


 まず今回のpcWatchさんの記事のお陰で、個人的に最大の謎であり、かつ興味があった点、
発表タイトルの”2-on-1 stacked”構造の概要が明らかになりました(^^)


 周辺の信号処理回路(正確には元記事によれば、ADC回路のロジック部≒ADのコンパレータは含まない)を上に載せるチップ側に配置した積層構造で、
 ・画素領域上下の周辺信号処理回路が別々の2チップで
 ・マイクロバンプによって
積層されている、
言わば、今までの各社の積層センサは(フォトダイオード搭載基板を基準に表現すれば)地下1階構造だったのに対して、
今回発表のソニーセンサは、”地上2階建て”、もしくは”1部屋の両側に一つずつロフトがある”様な構造になっていますね。

画期的!!・・・
・・・間違い無く画期的ではあるのですが、しかし正直今までの積層センサ構造とどちらがスマートかと言われれば、個人的には間違い無く今までの”地下2階建て”構造の方がスマートで先進的だと感じます。

 理由は、今回の構造では(以前も推測で書いていましたが)

1)間違い無く、Wafer to Wafer の積層製法が使えない
 (↑少なくとも、上に載せる周辺信号処理回路の2チップはチップに切り分けられてから載せられる≒製造のスループットが良く無い≒”普通は”高コスト)

2)接合方法がマイクロバンプ
 (↑これは単純に私のイメージで、TSVとかCu-Cuのダイレクトボンディングの方が先進的だと感じているに過ぎません^^;。ただし、メカ的な応力とかまで考え出したり、より密な接合を今後行いたいと考えた場合には、やはりバンプ接合はスマートとは言い難いと思います)

3)今までの地下2階積層の方が単純に使える回路領域が多い(≒広い)
 (↑地上2階建て構造では、センサ受光部の真上部分に積層することは出来ない)


 まあ1)などはメリット/デメリットがあるはずで、
チップ切り分け(≒ダイシング)後に貼り付ける(≒積層する)方が、”テストで良品だとわかっているチップ同士のみ貼り付ければ良い”ため、
(super35mmなどの大面積チップ≒不良率が高いもの同士のチップの場合にはウェハ同士で最初に貼り付けるよりも)最終的なコストは安くなる可能性はあると思うのですが、今回はそのケースに該当しているのでしょうか。
もしそうではなかったとしても、今回の積層構造を取る場合には小さい上に乗せる側はチップ状態にしてからでないと積層出来ない訳ですが・・・

 そして2)も、”チップ状態にしたものを上に載せる”という製法を取る時点で、最早消去法的にマイクロバンプによる接合になってしまうのでしょうね。
私の知る限り、一度チップ片になってしまったもので、TSVやCu-Cu直接ボンディングなどの半導体的な(?)製造方法を取ることは難しい(恐らく現状不可能)だと思います。


 で、じゃあなんで今まで通りの地下1階構造の積層センサにしなかったのさ?

私には
”super35mmフォーマット(≒APS-C)サイズの大面積チップでは、まだ今までの積層センサを作るのは難しかった”
(現状発表されている中では、積層センサで最大サイズは1インチまでのはず)
という理由しか思いつきませんが、実際の理由がそうなのかどうなのか、知りたいところです。



 で、もう一つの疑問点だったタイトルの”Gain-Adaptive Column ADCs”の方ですが、
こちらはpcWatchさんの記事によれば、
各画素の信号量に応じて利得を最適化するADC回路がある。撮影対象が暗い(画素の信号量が少ない)時は高い利得の回路を、撮影対象が明るい(画素の信号量が多い)時は低い利得の回路を選択する。
そうなのですが、この文言だけだと今一つピンと来ません。

↑上記該当説明箇所に付されている図

この説明では、得られた結果・・・すなわち”この方法でも高いリニアリティ=入力信号に対する出力信号の高い線形性が得られた”ということしか書かれておらず、上記の文言以外に(original記事にある)”新開発の要素技術”を推し量る情報がありません。
あえて言えば、図にある”Gain-switching point”というのがあることから、Gain-Adaptiveの示す通り、”入力信号の明暗によってゲインを切り替えているんだな”ということはわかります。

 そこで、久々に気合を入れてソニーが出している特許を調べてみました・・・英語は読む気が起きなさそうだったので、日本語だけですがf(^^;)

で、見つけたのがコレ↓
JP 2011-211535
(このページの一番上の欄に上記コピペして照会すれば出てくると思います)

【要約】 【課題】高速で高解像度のAD変換が可能となり、適切 に縦筋がキャンセルされた良質の撮像データを得ること が可能で、しかも水平転送量の増加を防ぎ、フレームレ ートの低下を抑えることが可能な固体撮像素子およびカ メラシステムを提供する。 

↑特許冒頭の要約より。
縦筋がキャンセルうんぬんはともかく、その他の”高速で高解像度のAD変換が可能”、”フレームレートの低下を抑えることが可能”というあたりは、今回の発表センサとマッチする内容に見えます。

で、実際のGain-Adaptiveに相当しそうな箇所ですが、

↑図9

特許の内容をここで全て説明するには特許と同じくらいの長さの文章をタイプかコピーしなければならないため、それはやめて(^^;)
細かい前提は飛ばして私が要所と思うところだけ以下。

ソニーセンサは公表されている限りでは、センサのオンチップ列ADCにはSlope積分型と呼ばれるものが今まで使われていました。
そして一番最初の写真資料によれば、今回発表センサも同様の様です。

で、上図(D)L261の斜めの線が何本か出てくるのが、ADのコンパレータに入力されるいわゆる参照信号というやつです。
それと(E)SIGが、画素からのアナログ信号で、これらをコンパレータで比較して値が等しくなるまでの時間をカウントしてアナログ信号の大小をデジタル信号に変換する仕組みです。
(↑超大雑把ですが^^; つまり、大きなアナログ信号は参照信号と等しくなるまでの時間がより多くかかり、逆に小さなアナログ信号の場合は参照信号と等しくなるまでの時間が短いという様な関係性が、上図の各信号波形からわかります)

また、CMOSイメージセンサは、通常CDSと呼ばれる、画素リセットノイズが載った各画素信号を先にAD変換し、その後実際の各画素信号(+上記リセットノイズ信号)をもう一度AD変換し、最後に両者を差分することにより、リセットノイズの無い正味の信号成分を抽出することにより低ノイズ化を図っています。
 上図に照らし合わせると、全者がZD1とZD2、後者がSD1、SD2と書かれている期間に相当しそうです。

と、以上までが最低限の前置きなのですが、
通常、上記CDS用のAD変換は”1回ずつだけ”です。つまり上図で言えば、ZD1とSD1だけで終了です。
ところが、この特許では、参照信号のSlope(傾き)が異なる者同士で1セットずつ計2セット行っていることがわかります。
これが正しく今回発表されたセンサの”Gain-Adaptive ADCs”の指すところなのかな?と思いました(≒そう思って、この特許をここに紹介しています)。

通常1セットで済むところを2セット行ってしまうと、”なんだ余計な時間が掛かっちゃってむしろ低速読み出しセンサになっちゃうじゃないか?”
と思う訳ですが、
暗いところから飽和信号まで双方とも通常通り全ての画素をAD変換してしまうのでは無く、
変換精度がより求められる暗い方の信号を緩い傾き(≒時間分解能が高い=少しの信号差がより大きな時間差になる)でAD変換し、
ある一定以上明るい(光ショットノイズがノイズの支配要因になり、変換精度が相対的に不要な)画素に関しては、より急峻な(≒時間分解能は相対的に低い)Slope(傾き)でコンパレータで比較してAD変換するという風にこの特許では使い分けています。

 そうすると、上記Slope(傾き)の選択次第ではAD変換スピードが短くもなる場合がありそうです。
例えば、ZD1とSD1の期間のSlopeを基準として”傾き1”とすると、ZD2とSD2の傾きをその4倍の”傾き4”とし、
変換に必要なDレンジの暗い方から1/4の明るさの画素はZD1とSD1の期間でAD変換し、暗い側から1/4~4/4(=飽和)の明るさの画素をZD2、SD2でAD変換すれば、
”全ての画素を傾き1でAD変換するのに比べれば”理屈上(あくまで理屈上ですが)半分の時間で全ての画素をAD変換することが出来ます。


で、実際今回ソニー発表センサがどうしているかと言うと・・・

↑上表の”Analog gain”の項参照
”Adaptive gain:0dB / 12dB”の文字が。
上記が上の特許でいう参照信号(Slope)の傾きを表していると思われます。
そして0dBを基準とすれば、12dBはその4倍。
ちょうど、上の例で書いた通りの比率です(というか、この数字を見てから上の例を記載しました^^;)。
という訳で、理屈上はこの方法を使えば列ADでの信号変換期間は半分にすることが出来ることになりそうです。
(実際には特許の図を見ればわかる通り、ゲインを切り替えたりするところなどで余分な時間が掛かったり、上記半分になるのはSD1とSD2の画素信号変換期間の方であって、ZD1とZD2の時間は短くならず、むしろ2回行う分だけ延びたりするので、そこまでの時間短縮効果は無いと思われますが)

 と言う訳で、この特許の技術が今回発表のソニーセンサで本当に使われているのかどうかは定かではありませんが、一応pcWatch記載の”撮影対象が暗い(画素の信号量が少ない)時は高い利得の回路を、撮影対象が明るい(画素の信号量が多い)時は低い利得の回路を選択する。”などの文言には矛盾が無い気がします。


 あとは上の表でいくつか個人的に気になるところをピックアップして終わろうと思いますが、

まず、
①power consumption(消費電力):480fps時の5.23W

でかい!
いや、性能からすれば妥当かむしろ小さいんじゃないか?というのは理性的に理解しつつも(←実際60fps時の2.15Wと比較すれば480fpsの方がフレームレート換算すれば効率が良いという見方も・・・)、やっぱり絶対値的には大きいですね(^^;)
ある程度の小型化が求められる、もしくはバッテリー駆動が基本の民生機ではこのままでは480fpsの性能は出せそうもありません。

②Fabrication process(製造プロセス)の、ロジック基板(今回の2階のロフトの方使用):65nm 1P9M

9メタル(金属配線層)使用・・・記憶では、今までのイメージセンサ使用の微細プロセスにおいても9層メタル使用というのは見たことが無い気が・・・
(実際、例えば先日のNHK技研公開で公開されていた33Mpix240fpsセンサのロジック基板は1P5M=メタルは5層使用)
それだけ高速読み出しの信号処理のために回路を詰め込んだということなのか、
もしくは5.23Wの大消費電力を支えるための電源/GND配線を入念に引き回しているということなのか・・・

③Output interface(出力規格):16chx4.752Gbps/ch SLVS-EC

 前回エントリでも触れましたが、もう単純にこのCPUの周波数も真っ青な出力レートは凄いです。
実際には”Gbps”なので周波数に直すと半分の2.376Hzではあるのですが、それでもという感じです。
 例えば、他のセンサは以下の様な感じです。
CMOSISの特殊な200万画素700fpsセンサ700Mbps
ONSemiの恐らくスマホ狙いの2500万画素1/2.1インチセンサは1.2Gbps
Samsungの恐らくミラーレス一眼に搭載された28MpixAPS-Cサイズセンサは、500Mbps強(←16chで8Gbpsオーバーというところから1chあたりを逆算)

後者二つは民生機向けとは言え、いずれも4.752Gbpsとは大きな隔たりがあります。
(まあ出力インターフェース規格自体異なるというのもありますが)

④parasitic light sensitivity:-99.6dB

 ↑グローバルシャッタセンサなので、フォトダイオード以外の場所(≒画素内メモリ)でしばらく信号電荷を保持しておく必要があり、
フォトダイオードが感光している間も、その傍で遮光されているメモリには前フレームの信号電荷が存在することに。
別の言い方で言うと(?)、例えば前フレームが闇で信号電荷が本来”0”であるべきところに、次フレームの光が画素部に照射されることによって、どれだけ前フレームに偽光信号としてメモリ部で感光してしまうか?を示している指標と思われます。
 ですので、符合は負(マイナス)で、小難しいことを考えない場合は”絶対値はなるべく大きな数値を出す方が良い”という指標です。

 感覚的に-99.6dBがどの程度の性能なのかわからないので、他製品と比較することにすると、
丁度昨年のこのVLSIシンポジウムにおいて、オリンパスが16Mpixの”積層センサによる”グローバルシャッタセンサの発表を行っていました
オリンパスのこのセンサはまだ実用にはなっていないと思いますが、4画素に一つやはりバンプで画素下のbottom基板と電気的に導通しており、”画素内メモリがbotoom基板側に存在する”という特殊な構造をしていました。
↑グローバルシャッタセンサとしてはこれが結構有利な構造で、その有利な点の一つに”bottom基板にメモリがあるので、メモリを遮光しやすい”というのがあります。

で、上記センサのparasitic light sensitivity が-180dBでした。
この数字と比較してしまうと、(今回のソニー発表センサは画素内メモリは通常のフォトダイオードのそばにある構造であるためか)凡そ80dB分≒約1万倍性能が劣ることになります。

 では-99.6dBが絶対値としてどの程度のイメージかと言うと、
今回発表のソニー製センサは動画センサなのにAD分解能は(元記事によれば)14bitですので、
仮に次フレームが飽和信号justの16383LSB出力相当の光を受けた時、前フレームの信号が”0.165LSBだけ疑似的に浮いてしまう”という性能です。

これを多いと思うか「全く問題無いじゃん」と思うかは人それぞれだと思いますが、太陽の光などがフレームに入った場合は、センサの飽和信号量の何十倍もの光量を受けているということは十分にあり得ますので、
その場合は太陽をフレームインしたままカメラを振った場合には残像として見える危険が・・・
というより、そういう場合は動画像全体が明るい場合がほとんどで気にならないかもしれないので(^^;)、
実際に気になるシーンとしては、線香花火をフレームインしてカメラを振った場合に”残像が気になる”という様なことがあるかもしれない・・・という感じなんでしょうかね。

⑤ (上でサラッと書いてしまったのですが、)4Kで480fpsなのにも関わらず、AD分解能は14bit
 これは何気に凄いことだと思います。てっきり12bit分解能だと思ってました。
 ちなみに、比較までに記しておくと、NHKの8K240fpsの超速信号読み出しセンサのAD分解能は12bitでした



拍手[3回]

PR

コメント

お名前
タイトル
文字色
メールアドレス
URL
コメント
パスワード Vodafone絵文字 i-mode絵文字 Ezweb絵文字

表面型の理由

Imagerマニアさんが掲載された発表資料には「光の漏れこみで裏面照射型積層構造の採用が難しい」と書いてあります。実際の理由は別にあるのかもしれませんが、回路の学会なので、おそらくこれ以上の詳しい説明は無かったと思います。

ところで、NBAとNABの説明は面白いけど、逆ですよ!

Re:表面型の理由

>hmbさん hi-lowさん

imagerマニアです。
>hmbさん 例のベロダイン(?)のセンサ文献まだ読めてません(--;)
 この時期、個人的趣味で、ユーロとツール・ド・フランス(自転車)観戦で忙しく(^^;)
 恐縮です 


>Imagerマニアさんが掲載された発表資料には「光の漏れこみで裏面照射型積層構造の採用が難しい」と書いてあります。

誤解を与えて(?)しまいました。
私の疑問は、何故今まで通りの積層センサ(地下一階構造)にしなかったのだろう?
でした。

それともお二方のご指摘の前提として、
 グローバルシャッタセンサで裏面照射型の実現は難しい
  ⇒ 裏面照射型センサでないと、従来構造の地下一階構造の積層センサは難しい
    ≒表面照射型センサでは従来積層センサ構造は難しい
という論法(?)でしょうか?

↑確かに資料には「小片化チップの積層構造の採用は世界初。”これにより”光の漏れ込み~」と書かれているので、表面照射型センサと従来積層構造の食い合わせが悪いことが読み取れるのですが、
私にはその間の因果関係が理解できていません。


>ところで、NBAとNABの説明は面白いけど、逆ですよ!

すみません。文章が回りくどくていつも同様の指摘を受けてしまうのですが(^^;)
”こちらはバスケの方です”の指しているのは直前のNABの方では無く、()外の前のNBAの方のつもりで書いていました(^^;)

  • imagerマニア
  • 2016/07/10(Sun.)

Re: 表面型の理由

> hmb さん
> Imagerマニア さん

確かに、ソニーのセンサーにはSTARVIS(裏面照射)でPregius(グローバルシャッター)な製品はありません。電荷保持部の遮光が難しいのでしょうね。

積層構造について

> ≒表面照射型センサでは従来積層センサ構造は難しい

以下が、私の単純な想像です。
「表面照射型センサーは信号を基板表面の側方に出力する。これでは、裏面照射型センサーのような積層構造にしようとすると、基板に孔を開けて配線する手間が必要だ。それよりは、マイクロバンプによる積層の方が簡単だ。」
如何でしょうか?

グローバルシャッターにはPDの近くに電荷保持部が必要で、そこは遮光の必要があります。裏面照射型でも光入射側にマスクを作ることになり、また裏面照射で増える斜光の遮光は難しいでしょう(DTIは電荷移動を阻害しそうです)。結局、グローバルシャッターと裏面照射の相性は悪いと思います。

CMOSセンサーのグローバルシャッターはCCDセンサーのインターレース型と類似の構造でしょうから、PDの開口率と飽和電荷が共に減ってしまいます。個人的には、そんなセンサーよりも、レンズシャッターの方が写真にはよほど良いと思っています。

Re: 積層構造について

> hi-low さん

>レンズシャッターの方が写真にはよほど良いと思っています。

このセンサーは480fpsということから、写真用では無く動画用と思います。動画の場合はレンズシャッターでは開閉が追いつかず、480*60=28,800rpmのロータリーシャッターが必要になるので、結構大がかりなメカになるでしょう。

積層の方法について

今回のソニーの方法は、コスト重視で選んだのだと思います。

>”super35mmフォーマット(≒APS-C)サイズの大面積チップでは、まだ今までの積層センサを作るのは難しかった”

これはその通りだと思いますが、理由はコストでしょう。
歩留まりを抜きにすれば、ウエハ全体の位置合わせをできる技術を確立している段階で、
貼り合せ自体は1チップのサイズに限定される物ではありません。
しかし、imagerマニアさんも書かれているように事前にテスト出来なくなるので、
大面積だと急激に歩留まりが下がります。
小さいサイズでは経済的に成り立っても、大きいサイズでは歩留まりの問題でコストが高くなりすぎるのでしょう。

Re:積層の方法について

>glassticさん

お久しぶりです。返信コメント遅くなりました。

>歩留まりを抜きにすれば、ウエハ全体の位置合わせをできる技術を確立している段階で、
>貼り合せ自体は1チップのサイズに限定される物ではありません。

↑そうなんですよね。おっしゃる通りな気がしていて、
すると”一体何が大面積チップになると積層化が難しくなる要因なのだろう?”と、前から気になっていました。
(今すぐにソースを探せませんが、以前ソニーの企画の方へのインタビュー動画で「大面積チップの積層化はまだ考えられない」という様なニュアンスのコメントがあったもので・・・)


>今回のソニーの方法は、コスト重視で選んだのだと思います。
>これはその通りだと思いますが、理由はコストでしょう。

 大面積チップの位置合わせズレに起因する低歩留まりによるコスト増が、積層化出来ない原因では無く、
大面積チップ同士のそもそもお互いの低歩留まりの掛け合わせ起因によるコスト増が、大面積チップの積層化の阻害要因であるということですね。

  • imagerマニア
  • 2016/07/31(Sun.)

Re: Re: 積層構造について

> hmb さん

> このセンサーは480fpsということから、写真用では無く動画用と思います。

多分動画用とは思いますが、写真用センサーでもAF時にはフレームレートが上がりますので、間引きスキャンでしょうが、動体追従AF時にはこの程度のフレームレートになる可能性はありそうです。

> 動画の場合はレンズシャッターでは開閉が追いつかず、480*60=28,800rpmのロータリーシャッターが必要になるので、結構大がかりなメカになるでしょう。

ホイールをマルチスリットにすれば回転数は落とせますが、より大型になってしまいますね。480fpsなら、ロータリーシャッターにRGBのフィルターを入れてモノクロセンサーで撮影しても、RGBセットあたりで160fpsです。これなら、フィルター回転と同期させたDLPでそのまま映写しても、フルカラー動画として鑑賞できるかもしれませんね。

積層構造について

某研究会でソニーの講演を聞きました。

WonWで作らないのは、ロジック部分の必要面積がセンサーの面積に比べて小さいので、バンプボンディングで作っても、結局安くなるからだそうです。
携帯電話用だと面積が一緒くらいなのでWonWで作るほうが良いとのこと。
Sonyくらいの企業だと積層構造でも歩留まりは気にならないくらいまで最適化できるということでしょう。

Re:積層構造について

>中村@つくばさん

個人的にとても興味深く有用な情報ありがとうございます。

そういうことですか。
仮に表面照射型で従来の積層センサ(地下1階型?)が出来たとしても、
super35mmサイズだと(少なくとも今回のこのセンサの仕様だと)地下一階のシリコンに空き領域が多すぎて、シリコン基板代に無駄が出ると・・・


ちなみに・・・
>某研究会でソニーの講演を聞きました。

↑こんな研究会あったのですね。というか、IEDMとかのことだったりするのでしょうか?
もし差し支えなければ”某研究会”が何を指すのかも教えていただければ嬉しいです(^^;)

とにかく、いずれにしてもわざわざ教えて頂き本当にありがとうございました。

  • imagerマニア
  • 2017/02/05(Sun.)

ブログ内検索

カウンター

最新コメント

[10/15 NONAME]
[10/11 hmb]
[10/10 ぷん]
[10/09 hi-low]
[10/07 NONAME]
[10/05 NONAME]
[09/25 hmb]
[09/25 toshi]
[09/23 hmb]
[09/18 FT]
[08/17 みさお]
[08/16 bbbuk]
[08/16 Anonymous]
[08/13 bbbuk]
[07/31 hi-low]

カレンダー

09 2017/10 11
S M T W T F S
2 3 4 5 6 7
9 10 11 12 13
16 17 18 19 20 21
22 23 24 25 26 27 28
29 30 31

バーコード

プロフィール

HN:
imagerマニア
性別:
非公開