Imager マニア

先週末は飲みすぎたり(^^;)、またキヤノンのEOS7Dmark2の品川でのイベントに足を運んでみたりの週末で、
blog更新をサボった時に限って、前々回のPhotokina直前から最近に掛けて更に各社魅力的なカメラ等をドンドンと発表。

　という訳で、今週書きたいネタが割とたくさんある中で、やはり無難に選んでしまいましたタイトルの件。
前回に引き続き、チップワークスが追加で主にiPhone 6の、俗に彼らがFacetimeカメラと呼んでいるサブカメラ搭載素子の解析を進めています。



↑　iPhone6のサブカメラ搭載撮像素子のマイクロレンズ、カラーフィルタ及びaperture grid(恐らく画素の開口を決めている主に遮光用のメタル)を排除した後の上面写真

　今回のchipworksの解析結果を受けて、今回のiPhone(6)のカメラ搭載撮像素子に関して先に個人的所感を書くと、
FocusPixel以外は、OmniVision製からSony製に撮像素子が変わったことと合わせて、
むしろメインカメラよりもサブカメラ搭載撮像素子の方にトピックが多い様に思いました。

　さて、ではまずは以下から本家サイトのblog記事意訳から。

[5回]

例によって、オレンジ色は私の補足もしくは感想コメントです。

-------------------------------------------------------------
我々の研究室は、新しいiPhoneのチップ情報を集め、やっとカメラの分析結果も出揃ったので、ここにシェアすることにする。
今回のiPhone搭載カメラの撮像素子は双方(＝フロントとリア)とも、ソニー製の積層チップ構造(CIS＋ISP)(←CMOS Image Sensor ＋ Image Signal Processor)となっており、それらはsolder bumpを通してセラミックチップキャリア同士が電気的に接続されていた。
マイクロレンズとカラーフィルタと開口グリッドメタルを取り去った、iSight(＝メイン)及びFaceTime(≒サブ)カメラのチップに注目してほしい。

↑　iPhone 6(plusも)搭載リア＝メインカメラ用撮像素子のマイクロレンズ、カラーフィルタ、遮光メタルを排除した後の上面写真

ソニーから供給されたiSightカメラチップのサイズは5.97×4.71mm(28.1mm^2)。
(あれ？初期からの解析記事にあったdie size 4.8×6.1mm≒29.3mm^2という情報との整合性は？違うもの？それとも縦横入れ替わって、かつ今回の方がより正確に計測された結果？)
このチップの特徴は、ダイの4辺に配置された105のbumpパッドだ。
これらのパッドは、ISP(←bottom側のチップ基板)の最上層メタルに接続されて(implemented)おり、
そしてCISチップ(die)とISPチップ(die)の接続は、画素領域の(上下左の)3辺のthrough silicon vias(TSV)を用いてされている。

　FaceTimeカメラ(＝サブ＝フロントカメラ)モジュールのサイズは、6.2×6.0×3.8mm(←厚さ)。
(メインカメラモジュールよりも、やはり更に薄いですね。主に、光学式手振れ補正有無とイメージサークルの違いからくるレンズ厚の違いでしょうか)

↑FaceTimeカメラモジュールの横方向からの(恐らく)X線透過写真

積層チップサイズは、4.13×3.36mm(13.9mm^2)。
(面積で見ると、メインカメラ用のチップと比べて約半分のサイズ。やっぱりサブカメラ用のセンサは小さいですね。)
写真(←一番最初の方)を見ると、チップ4辺に73のバンプパッドが配置されており、TSVアレイ(←繰り返し配置)は、画素領域の右と下に並んでいる。
FaceTimeカメラの画素ピッチは、ここ2～3世代(のiPhone)の1.75umから、iPhone6と6plusは2.2umへと大きくなっている。
これは、iPhoneのFaceTimeカメラの画素スケーリング傾向が逆行(←画素ピッチが小さくなるのでは無く、大きくなっていること)しているという注目すべき出来事で、それは丁度iPhone5sにおいてiSightカメラで起こったことと同様だ。
更に近接撮影写真↓では、

それぞれのRGBのカラーフィルタ上に、人工的な”＋”形の模様が確認できる。
我々は、これはそれぞれのカラーフィルタ上に2x2のマイクロレンズ4つが形成されているのではないかと考えている。
そして、更なるレポートのために、このまま技術的な解析を続け、この我々の考えが正しいか確認するつもりだ。
--------------------------------------------------------------------
以上chipworks blogより

　普段私がだいたいチップの外観写真を見てコメントする、パッドやpinの数、及びチップの何辺に渡ってそれらが配置されているかという様なことは、今回ほとんどチップワークスblogがとり挙げていますので、ほとんど補足することは無いですね。
　あえて言えば、画素信号の読み出し方向の件ですが、
外観写真のTSV(←top側のセンサチップからbottom側のISPチップへの画素信号伝達用？の穴)が、
メインカメラは上下に、サブカメラは下部のみに配置されていることから、
　メインカメラ：信号は画素の上下に列毎に交互に読み出されるタイプ
　サブカメラ：信号は画素の下側にのみ読み出されるタイプ
ということぐらいでしょうか。

　また、前回エントリで”6のFaceTimeカメラの80%の開口率upは何の素子に対して？”という様な疑問を私は書きましたが、
今回のチップワークスのblogを読む限り、”5sまでのOmni製のFaceTimeカメラ用の素子に対して”開口率upしたということの様です。
ソニー製の素子になって、画素ピッチが2.2um□になっていますので、
(2.2×2.2)÷(1.75×1.75)≒58%up　で、チップワークスblog中の”80%up”という数字とは、画素ピッチで計算すると合いませんが、
恐らくaperture gridと表記されている”本当に開口を決めている(遮光されている部分を除いた)面積同士”で両チップを比較すると、80%開口率がアップしていたということではないでしょうか。


　でもしかし、上記までのことは今回正直あまり大したことでは無くて、
本blogを読まれている皆さんのご興味の多くは、
”FaceTimeカメラ用素子のあのカラーフィルタ配列(画素配列？)は一体何なんだ！？”
ということですよね。
私もそうです(^^;)
そして、私は今までこの様な見た目のイメージセンサを見たことがありません。

　まず、チップワークスblogは「同色カラーフィルタ上に2x2で4つのマイクロレンズが載っているのでは」と書いてるのですが、
正直それでは私には皆目メリットがわかりません。
ので、ここは普通に考えると、
”同色カラーフィルタが配置された、(2.2÷2＝)1.1um□の2x2画素がベイヤ配列の1画素単位として並べられているのでは”
と思います。
(ただ、チップワークスは既に何らかの情報を持っていて、もしくは最後まで解析が終わった後に、今回のレポートを出している可能性があるので、完全に見解を無視することは難しいのですが・・・。そしてチップワークスの文末には更なるレポートのことが書かれていますが、これ以上は有料情報で、今後この無料blogに追加情報が載ることは残念ながら無いと思われますが・・・)

　私が上記の様に思う根拠が、メリットを思いつかない以外にもう一つだけあって、
1.5um□画素ピッチであるメインカメラ素子と2.2um□画素ピッチであるサブカメラ素子の上面写真を見比べた時、
それぞれ左辺と右辺に、今度はbottom基板からtop基板へ、画素駆動用のパルスを通すためと思われるTSVアレイが配置されているのですが、
その配置に要している幅が、FaceTimeカメラ用素子の方が太いから
というのがあります。

つまり何が言いたいのかと言うと、TSVアレイ配置に幅が必要なのは、そもそも1.5umといった画素ピッチ内に1行に必要な駆動配線本数分のTSVの穴が、(狭すぎて)一直線で配置出来ないからです。
ですので、行方向(今回の場合写真の左右方向)にいくらかズラしてTSVを配置するしか無く、幅が必要になってきます。
　今回もし仮にFaceTimeカメラ素子が、単に2.2um□の1画素上にマイクロレンズを4つ配置しているだけなのであれば、画素駆動に必要な配線本数は2.2um幅に配置すれば良いことになると思います。
であれば、もしメインカメラとサブカメラの素子の駆動方法に別段の差が無ければ(まあまず差異は無いと思って良いと思うのですが)、1画素に必要な駆動配線本数に差が無い訳ですから、画素ピッチのより狭いメインカメラ素子の方が、サブカメラ素子に対して0.7um狭い範囲に同じTSVの穴をレイアウトしなければならないはずです。

で、その分TSVのレイアウトに必要な幅はメインカメラの方が太くなりそうなものですが、写真はその逆になっています。
ですので、逆に(？)、”FaceTimeカメラは1.1um□の画素が並んでいる”と考えれば、今度はFaceTimeカメラの方が0.4umメインカメラに対して狭い幅に同じ穴の数を配置しなければならないので、TSVの配置に必要な幅がFaceTimeカメラ素子の方が太い説明がつくと思ったからです。

　また、上記の様な1.1um□の画素ピッチの同色画素を4つ並べたと考えた方が、今回FaceTimeカメラで大幅に画素ピッチが大きくなっていることに納得しやすいというのもあります。
いくらappleが大画素信者だとしても、先代の1.75um□から2.2um□の画素ピッチへの拡大というと、いっきに0.45umも画素ピッチを大きくしたことになります。
「さして画質期待度の大きく無いFaceTimeカメラにそこまでしなくても・・・」
の思いは拭いきれません。
　ですが、仮に同色の4つの画素で1画素を形成しようとした場合、もし先代の1.75um□の画素ピッチのままでは、1.75÷2＝0.875um□で1画素を構成しなければならなくなります。
これは私が今まで製品レベルで聞いたことがある最小画素ピッチである1.12um□を大きく下回ることになります。
それはそれで、(チップサイズが大きくならないメリットはありますが、)かなり難易度の高いことだと予想されるので、今ソニーが安定して出せる技術で最も小さい画素ピッチが1.1um□程度だったので、その技術を用いて同色4画素でベイヤ配列の1画素を構成したら、結果今回の2.2um□の画素ピッチに落ち着いたという予想が最も自然だと思います。


”じゃあ、同色の小さい画素を4つまとめて配置するメリットをお前は何だと思ってるんだ？”

ご最もな突っ込みです(^^;)
結論を先に書くと、”同色の2行の(1.1um□ずつのペアの)画素で、露光時間を異ならせた画素信号を取得し、後処理でHDR(ハイダイナミックレンジ)画像を生成するため”なのでは？
と予想しています。

　まず、”iSightカメラ素子に無い素子構造(？)で、FaceTimeカメラ素子にだけある素子構造なのだから、iSightカメラには出来ないけど、FaceTimeカメラにだけ出来る機能が存在するのでは？”
と考えました。

appleの日本語版のHPの双方のカメラの機能の一覧が以下です。

FaceTimeカメラに出来なくて、iSightカメラに出来る機能はたくさんありますね。
ですが、逆は以下しか無いと思います。

”ビデオの自動HDR”

　iSightカメラの方にこの記載が無いということは、iSightカメラにはこの機能は無いと考えて良いのだと思うのですが、
　以前ソニーは自社Xperiaではこの様なベイヤの2行ごとに露出を変えた画像信号を取得するタイプのハイダイナミックレンジ動画生成を行っていた実績があります。
今回のFaceTimeカメラは、この応用版を行っているのかなと。

上記リンク先の方法であれば、別に通常のベイヤ配列素子を採用しているiSightカメラでもHDR動画が撮影できる理屈ですが、
上記リンク先の方法では、
　・垂直方向の解像度が落ちることになるので、appleの許容する動画像品質に届かなかった
か、
　・今回1080の60pまで動画が取得できるようにiSightカメラはなったので、単純にHDR処理が動画では間に合わなかった
か、
　等の理由により、iSightカメラでの動画のHDRは断念されたのかと個人的には思います。

”じゃあ何で静止画のHDRモードはiSightカメラも持ってるのさ”
という疑問に関しては、
静止画では単純によくある”高速で露光時間の異なる2枚の写真を連写して、後段で合成処理する”という方法でHDRを実現させているため、静止画ではiSightカメラでもHDR機能が存在できるのかなと考えています。
(もしくはもし動画でHDRが出来ない理由が処理時間の問題であったならば、静止画であれば処理時間は十分あると思われますので、上記リンクの方法で静止画のHDR処理を行っているという可能性もあるかもしれませんね)


”じゃあお前の上記までの予想が正しかったのだとして、何で2x2に分けて4画素で1ベイヤ画素を構成しなければならないのさ。行ごとに露光時間を変えて光信号取得するのであれば、1x2で2.2um□を上下に分けた(2.2×1.1umの)長方形の画素構成にしたって良いじゃないか？”

これもご最もな突っ込みだと思います(^^;)

　個人的には以下二つの可能性があるのかなと思っています。

①上下2画素に分けるだけの横に長い長方形の画素でも理屈上良いのだけれど、実際はそういうレイアウトをしてしまうと、フォトダイオードにたまった光信号電荷を読み出すのが非常に困難になるので、オーソドックスに正方形の画素を四つ並べて、2画素ずつからそれぞれあえて同じ露光時間の信号を読み出すことにした

②いやいや、実は同色内の4画素とも異なる露光時間の光信号を取得していて、HDRの効果を高めているから、今回みたいに2x2＝4画素分割が実際に必要なんだよ。

　②の4種の露光時間の異なる信号を得るために、上下→左右方向の画素でも露光時間を異ならせるには、このソニーの特許の様に(←この特許の場合は、通常のベイヤ配列の例で、かつ画素転送MOS駆動用の配線が1行に3本ある例ですが)、1.1um□の画素ピッチに1本必要な画素転送MOS駆動用配線を2本に増やせば、後は駆動の工夫で達成可能だと思います。

　が、自分で可能性を挙げておきながらなのですが、さすがにFaceTimeカメラの動画用のHDRのために、ここまで複雑な素子構成と画像処理負荷をかけることは無いのではと思います。
また、同色2x2画素構成と予想した理由の内の一つに戻るのですが、
iSightカメラとFaceTimeカメラ素子の上面写真で、今度は上下及び下部のTSVの配置幅が、同程度(iSightカメラの方が上下に分かれているので、概略2倍の幅を必要としている)であることを鑑みると、
列(左右)方向の単位長さあたり信号読み出し本数は、iSightカメラ素子の方が多い(≒画素ピッチが狭い)と見て良いのではと思います。
　つまり、FaceTimeカメラ素子は、2x2画素でベイヤ配列の1色を構成するが、同じ行の2画素は同じ露光時間の光信号を生成し、フォトダイオードからの読み出し直後に加算されて、その後は実質1x2画素＝2種の信号種類(？)として後段に読み出されていく構成なのかなと思いました。

　ですので、一つ上の太字の疑問に対しては、上記①が理由なのでは？と私は考えている訳ですが、
”なぜ長方形だと電荷信号が読み出しにくいのか?”

という疑問に対しては、実際の画素レイアウトによると思うのですが、
感覚的で恐縮ですが、恐らく理想的には円形の画素の真ん中に転送MOSが存在出来れば最も効率的に信号転送可能なのかなと予想します。
逆にその理想から遠ざかる方、極端な例で言えば、アスペクト比が1:10の長方形画素をイメージした際に、その1側のサイドに転送MOSを配置した場合には、これは転送MOSから遠い側の信号電荷を読み出すのは相当困難を極めると思われます。
　そういった感覚で言うと 、上記①の様な理由も考えられるかなと思います。



　だらだらと文字ばかりで色々書いてきてしまいましたが、上記までの予想が正しかったとして、

以前2013年のソニーのISSCCでの発表資料と思われるものの最後の方にあったHDR動画写真に
Long Exposure、short Exposureという二枚の画像とHDR画像とが示され、”これは複数の静止画を合成したものでは無い”のただし書きがあったものがありました。
　当時は深く考えずに”W(ホワイト)画素をうまく使って画像処理すればHDR画像が得られるのかな～”くらいに思っていましたが、
今考えると、この時の画像は、今回のiPhone6のFaceTimeカメラ素子の様なもので取得された画像だったのかなと思い始めました。

　また、以前車載用のOmniVisionの撮像素子の発表であった”時間差が発生しないように2種類の画像(明/暗)を撮影する工夫を加えることで120dBのダイナミックレンジを達成した”というのも、もしかしたら同様にこの様な素子によって動画撮影することによって達成されているのかもしれないなと考える様になりました。

 
　今回の予想があってるのか間違っているのか知れる日がくるのかわかりませんが、何にしても、見たことが無い画素配列(？)を初めて見れて、個人的には面白かったです。

最後に、私はiPhone持ちでは無いのでご存知の方教えていただきたいのですが、
iPhoneの”自動HDR”の機能は所有者が任意にON/OFF設定可能なのでしょうか？
それとも所有者の意思と無関係に、常にHDRの静止画や動画撮影になるものなのでしょうか？

もし、上記機能がOFFに出来るのであれば、iPhone6のFaceTimeカメラは、OFFの場合は純粋に同色の4画素の信号をどこかで加算して読み出しているのでしょうね。

本当に最後に、チップワークスのその他の追加写真を以下に記録としてupして終わりにします。


↑　iPhone6　FaceTimeカメラモジュールの型番刻印された背面写真


↑　同カメラモジュールの上面からの写真


↑　同カメラモジュールの背面からのX線透過写真