忍者ブログ

Imager マニア

デジカメ / デジタルビデオカメラ / スマホ用の撮像素子(イメージセンサ/imager/CMOSセンサ)について、マニアな情報や私見を徒然なるままに述べるBlogです(^^;)

ToF (Time of Flight) を調べてみた その1[概要] ~新たな分野(?)にチャレンジしようシリーズ(?)

と言う訳で、この春発売された一眼カメラで取り上げたい機種は(Nikon D5 / D500Canon EOS-1D X MarkⅡ 以外でも)他にもあったのですが、
如何せんもう旬が過ぎてる気がしますので置いておいて(^^;)、私が以前から興味があったToF(Time of Flight)方式のセンサについて、調べたことを今日は残しておこうと思います。
こういうのを気合い入れて始めると続かなくなる性格なのを知っているので、まずはゆる~い感じで(^^;)

 まずToFって?
というところですが、
物体との距離を計測する目的で使われる(作り方によっては通常の撮像素子との兼用も可能?)という私の認識です。
”光速”が既知の情報として存在するため、撮像素子側から光を照射し、対象物に反射して戻ってくるまでの遅れ時間(時間的ズレ)を画素ごとに計測することにより
二次元配列のセンサを用いれば、対象物との距離を二次元的に把握することが可能という。

手っ取り早くイメージするには、以下の様な画像を見て頂くのが良いでしょうか。

↑画像はこちらの組織のHPから拝借させていただきました
左が実際の撮像画像(恐らく赤外センサで捉えたもの)、右がToF方式のセンサの出力画像
色付けは画処理で行われるはずですので、”この画像の場合は”より赤っぽいものの方がカメラから近い側にあり、青っぽくなるほどカメラからは離れた場所にある対象物であるという感じです。

具体的な”遅れ時間”の計測方法は後回しにして、概念的には例えばこのHPの説明などがわかりやすそうです。

 またはそう堅苦しく考えなくても、身近なところ(?)では、”XBOX Oneの2代目Kinectのモーションコントローラー”と言えばもう少しピンとくるでしょうか?
実は私がToF方式のセンサに興味を持ったキッカケは、正にこの2代目Kinectでした。

今のところToFセンサはImaging(撮像)というようりはSensing(計測)に使われるセンサという感じと理解していて、このImagerマニアblogのタイトル趣旨から少し外れ気味なのですが、
 ・やりようによっては二次元の距離画像が撮れるという親戚の様な領域である
 ・(気づくか気づかないかは別にして、)何より、今後世の中にこのToFタイプのセンサが多く出回りそうな気配である
 との理由により取り上げたいと思います。

 実はKinect以外にも既にいくらかはこのタイプのセンサが出回っていて、AFやAF補助用のセンサとして数機種のスマホで採用されているようです。
また今をときめく(?)車載用として、例えばジェスチャー入力用としてこんな感じのことが出来るように採用する動きや、純粋に障害物(車含む)の検知用としての採用検討もされていると思われます。
そして、ソニーも車載用狙いかは断定できませんが、ToF技術を持っていた会社を昨年買収していたりもします。

 どうでしょうか?少しはToFセンサなるものに興味を持って頂けたでしょうか?(^^)

ちなみにイメージセンサ業界(?)的には昨日今日急に注目され始めた方式のセンサでは無く、
例えば、西暦奇数年の隔年開催であるIISW(International Image Sensor Workshop)では、2011年に”ToF”の文字が発表タイトルの中に見え始め、2013年及び昨年2015年の回では、既に一つのテーマとしてToFというジャンルが確立していた・・・そんな状況の様です。



 さて、まだ前置きは続くのですがf(^^;)、ToFの本題に入る前に、
”測距用センサ”ってそもそもToF以外にどんなものがあるのでしょう?
(↑個人的にここからまず入らないと、”そもそも何故ToFセンサが採用されるのか?”、”いったいToFって何が良いのか?”というところが引っ掛かってしまって、先に進めません^^;)

↑こちらの図は、コチラの論文から

ちなみにこの論文は静岡大学の川人研というところのドクター論文の様です。
以前このblogエントリでも取り上げたpaperの発表研究室になります。
上記エントリの際に引用させてもらったpaperは公式にオープンにされているものなので引用全く問題無いと思うのですが、このドクター論文は使っていいのか・・・まあ、ネットで検索したら引っ掛かるっていうことは、使ってもいいんですよね・・・?f(^^;)

 三次元画像計測は、まず大きく大別して受動型(passive型)と能動型(active型)というのがあり(能動型というのは計測機器側からレーザーやらLEDやら何がし最初に照射した反射を拾うタイプのもので、受動型はそうじゃないやつ)・・・というやつですね。
ま、詳細興味おありの方はは上記リンク先のoriginalを読んで頂くとして、
今回取り上げるToFセンサは能動型の”光レーダ法の一種”とのことです。

ちなみに参考までに記しておきますと、
受動型で最もメジャーだと思われるのは、三角測量の法則を用いた、視差の異なる2眼以上の撮像素子(≒カメラ)を用いて行う”ステレオ法”。
最近のデジカメで多く用いられるようになってきた”像面位相差AF”も広くはここにジャンル分けされるのだと、私は認識しています。

また、冒頭付近でXboxOneの2代目Kinectを引き合いに出しましたが、初代KinectはToF法を用いたセンサでは無く、
上記ジャンル分けで言うとアクティブステレオ法のどれかを採用したセンサを搭載しているはずです。
いわゆるこのHPの説明にある様な特殊なパタン(模様)を照射して、その”パタンのひずみ具合”が映った画像から距離(物体形状)を演算で求めるというタイプのものです。←個人的におもしろいというか、最初に考え付いた人はよくこんな方法思いついたなと(^^)


 で、上記の様に多数ある三次元計測の方法の中からToF法がセンサに選ばれる理由というのが・・・
・・・結局はっきりとはしないのですが(^^;)、例えば受動型の代表と言ったステレオ法との比較で良ければ、大まかには例えばこちらのHPによれば、順不同で・・・
 ・小型化が可能 (カメラ二つ必要無し)
 ・遠くのものでも測距分解能が下がらない (三角測量だと視差が小さくなる遠方は分解能が下がる)
 ・”比較的”外光の影響を受けにくい (←ToF法も結構課題なはずなのですが・・・)
 ・コントラストが低い対象物でも計測が可能 (三角測量はコントラストが低いと二つの像が一致させられない)
 ・暗くても計測可能 (赤外光を照射するので)
 ・画像からの演算負荷が比較的小さい

 等々といった感じで、ToF法採用にメリットがあるということの様ですね。

ちなみにKinect初代のパターン照射タイプとの比較では、”一般的には”ToF法の方が精度が良いとされている様です。
まあこういうのはいずれにしても、最終的にはユーザーがきちんと用途に合わせて適当な測距方式を選ぶ必要があるということですね。


 本日はここで力尽きました(^^;)
詳しく無いのに書いていますで、詳しい方、是非とも補足や誤りありましたらご指摘お願い致します。
次週以降、
 ToFセンサは具体的にはどの様な用途で用いられているのか?
 そしてその測定原理は?
といったあたりに踏み込んでいけるように頑張りたいと思っています。


拍手[1回]

PR

コメント

お名前
タイトル
文字色
メールアドレス
URL
コメント
パスワード Vodafone絵文字 i-mode絵文字 Ezweb絵文字

ToFの利点

ToFの利点は、物体の表面が少しでも光を反射すれば、表面の形状・模様にかかわらず絶対距離を測定できることでしょうか。視差法では、細かい網目模様への距離が測れません。

ご紹介いただいたサイトでは光の波の位相ズレを検出しているように説明されていますが、実際には照射光強度を変調させ、その変調の位相ズレから対象までの距離を測定していると思います。
http://www.optex.co.jp/tech/sensor/3d.html

Re:ToFの利点

>hi-lowさん

視差法では網目模様も判別できませんか。確かにそうですね。
他方ToF法も、反射してきても鏡面などは上手く測定出来ないという話もあるようです。
やはり、物事完璧な方法というのはなかなか無いということでしょうか。

>ご紹介いただいたサイトでは光の波の位相ズレを検出しているように説明されていますが、実際には照射光強度を変調させ、その変調の位相ズレから対象までの距離を測定していると思います。

↑本文中の川人研の論文の研究センサは、hi-lowさんおっしゃられる通りの方法の様です。
一方、光の位相ズレを検出する方式のものも存在するようで、

http://www.ieice-hbkb.org/files/08/08gun_04hen_01-04.pdf
↑詳細は書かれていませんが、例えばこちらの資料のp.123の下半分あたりにサラッと書かれています。
現状どちらが優勢な方式なのか、私は調査できていませんが・・・

  • imagerマニア
  • 2016/06/04(Sat.)

ToFセンサ

ToFに興味を持ったので少し調べてみました。

ToFは比較的安価で測距精度が良いと言うところが売りで、Kinect2がその代表例ですが、BMWのジェスチャーコントロールも同様の応用例ですね。欠点は解像度が低い事と、屋外で使えない事。

上記は位相差計測型ですが、同じToFでも時間差計測型は特徴が違うようです。Google Carで有名になったVelodyneのセンサー<http://velodynelidar.com/docs/papers/HDL%20white%20paper_OCT2007_web.pdf>が代表例でしょう。Laser pulseをスキャンして、その反射をAPDで受けてダイレクトに時間を測定するタイプ。屋外で使うために反射光をアバランシェで増倍して、120m先まで測れるようです。時間差計測型は精度を出そうとするとコストが高くなり、このシステムは75Kドルだそうです。自動車より高い。

位相差計測型と時間差計測型はセンサー構造が全く違うようですが、ToFの資料は英語ばかりで、なかなか調べるのが大変ですね。

Re: Re:ToFの利点

> imagerマニア さん

光の位相を直接検出しても波長以内の距離変化しか分かりませんので、その場合でも、測定距離に合わせた光強度の変化は必要ですね。

Re:Re: Re:ToFの利点

>hi-lowさん

>光の位相を直接検出しても波長以内の距離変化しか分かりませんので、その場合でも、測定距離に合わせた光強度の変化は必要ですね。

hi-lowさんのおっしゃっていることが理解できた気がします。
”どういう方式にしろ、サイン波状であれ、矩形波であれ、実際には照射光側が変化していなければ一定照射光ではToFは機能しないよ”
乱暴に言うと、そういうことでしょうか?

上記理解でよければ、私もその通りだと思います。

  • imagerマニア
  • 2016/06/12(Sun.)

東芝の新しい測距法

東芝がとても単純で有効な測距法を発表しましたね。
http://www.toshiba.co.jp/rdc/detail/1606_01.htm
撮影画像の広範囲でデジタルカメラの撮像面位相差検出と同程度の測距性能を期待できますので、ToFカメラの多くが代替されてしまうかもしれません。

Re:東芝の新しい測距法

>hi-lowさん

>東芝がとても単純で有効な測距法を発表しましたね。
情報ありがとうございます。私もどこかのweb記事に目が止まったのであらましだけはチェックしてました。

>撮影画像の広範囲でデジタルカメラの撮像面位相差検出と同程度の測距性能を期待できますので、ToFカメラの多くが代替されてしまうかもしれません。

東芝の発表からすると、そんな雰囲気を感じますね。

純粋ハードウェア大好き派(?)としては、画像処理で片づけるという思想(?)が本能的に好きになれませんが(^^;)、
”純粋ハードウェアによりも画像処理(コンピュータ処理)で済むものはそちらに任せた方が、トータルコストやハードウェアのサイズが小さくなって合理的だ”との考え方には事実として同意せざるを得ません(^^;)

しかし、水色&黄色のフィルタを装着してしまって、ちゃんとしたカラー画像が撮像できるというのが、なんか直観的にしっくりこないのですが・・・?
まさか、メカ的にフィルタをカシャカシャ出し入れする・・・なんてことが(カラー撮像と距離測距の間で切り替え)必要ということは無いよね・・・?とf(^^;)

  • imagerマニア
  • 2016/06/18(Sat.)

Re: Re:Re: Re:ToFの利点

原理的には光の波の位相ズレで距離を測定できますが、波長500 nmの可視光で測定すると、対象が前後方向に500 nm動いただけで位相が元に戻ってしまいます。500 nm以内なら高精度に測定できますが、用途は限られますね。

imager マニアさんはご理解のことと思いますが、ToFは電波レーダーで折り返し時間を測定するための周波数変調を照射光の輝度変調としたレーダーの一種だと思います。

Re: Re: Re:Re: Re:ToFの利点

>hi-lowさん

一般的には光の波の位相ズレを直接測定しているわけではなく、光の強度を変調して、その位相のズレを測定します。位相が一周期ずれると距離が分からなくなるのはご指摘通りで、変調周波数を複数にするなどの工夫をして使っているようです。


Re:Re: Re: Re:Re: Re:ToFの利点

>hmbさん

imagerマニアです。
以前、googleカー搭載のToFカメラの(お値段も含めた)大変有益な情報をコメントくださったことは認識しております。
せっかく情報頂いたのにお返事出来ておらず申訳無い気持ちでいっぱいです。

”ちょっとこれは半端なコメントは出来ないな”と思い、そして”ちょっとあの英語の資料読んでからにしよう”と思い、今日までコメント出来ずにいました・・・そして未だ読めていません(--;)

先月末”人と車のテクノロジー展”というのに赴きまして、そこで色々聞いている内に、やはり(?)代表格として「googleカーに載っているのは性能は高いがお値段も高いくてとても搭載出来ない」というコメントをあるブースの展示員の方がおっしゃっているのを耳にしました・・・が、そこまで高いとは想像していませんでしたf(^^;)

 また、hmbさんの書き込みを見て調べて、ToFには
間接ToFと直接ToFという概念(種類)があることも気づけました。
ありがとうございました。今後ともよろしくお願いします。

  • imagerマニア
  • 2016/06/25(Sat.)

Re: Re: Re: Re:Re: Re:ToFの利点

> hmb さん

照射光と反射光の光波の位相ズレを利用して測距しているような解説が紹介されていましたので、さすがにそれは一般的ではないと思い、書き込みました。

ご紹介いただいたように、輝度を複数周波数で変調でさせているようですね。

Re: Re:東芝の新しい測距法

> imager マニア さん
> しかし、水色&黄色のフィルタを装着してしまって、ちゃんとしたカラー画像が撮像できるというのが、なんか直観的にしっくりこないのですが・・・?

新規の補色フィルターと考えれば良いと思います。

Re:Re: Re:東芝の新しい測距法

> しかし、水色&黄色のフィルタを装着してしまって、ちゃんとしたカラー画像が撮像できるというのが、なんか直観的にしっくりこないのですが・・・?
>
>新規の補色フィルターと考えれば良いと思います。

なるほど。各補色フィルタの後に更にRGBのフィルタが入るので、感度が下がったり、処理が複雑になりそうですが、頭の良い人が処理を考えれば可能な気がしてきました(^^)

しかし、”写真”とかのレベルで画像を見た場合、フィルタの境目のところの中央部分だけはどうしても色の段差の様なものか、もしくは画処理で意図的に滲ませた様な、何か不自然なことになるような気がします。
う~ん、これもレンズのF値が固定なら、もしくは画処理で対処可能なものなのか・・・?

ま、「用途は写真を想定していない」と言われればそれまでですが(^^;)

  • imagerマニア
  • 2016/06/25(Sat.)

Re: Re:Re: Re:東芝の新しい測距法

> しかし、”写真”とかのレベルで画像を見た場合、フィルタの境目のところの中央部分だけはどうしても色の段差の様なものか、もしくは画処理で意図的に滲ませた様な、何か不自然なことになるような気がします。

逆に、中央部分の像はレンズ全面を均等に使うので問題が起こらず、周辺領域の像では偏った使い方になるので色が変化してしまう可能性が大きいですね。

>う~ん、これもレンズのF値が固定なら、もしくは画処理で対処可能なものなのか・・・?

実用時には、キャリブレーションされた幾つかのフォーカス位置があり、その位置からのズレを測定することになると思います。ご指摘の通り、記録にはなりますが、”写真”の撮影には使えないでしょうね。それでも、ドライブレコーダー用途には充分かもしれません。

http://tt919n.kopi666.com/

ご使用のモニター環境により実物のカラーと異なって見える場合がございます。

ブログ内検索

カウンター

最新コメント

[05/27 krasRob]
[05/25 hi-low]
[05/08 hi-low]
[05/05 toshi]
[05/05 http://tt919n.kopi666.com/]
[04/29 ぷん]
[04/25 FT]
[04/24 ボケが進行中]
[04/24 hi-low]
[04/24 hi-low]
[04/03 hi-low]
[04/03 stranger]
[04/03 MiningDeabs]
[04/03 Mortonbot]
[04/03 FT]

カレンダー

04 2017/05 06
S M T W T F S
1 2 3 4 5 6
8 9 10 11 12 13
14 15 16 17 18 19 20
22 23 24 25 26 27
28 29 30 31

バーコード

プロフィール

HN:
imagerマニア
性別:
非公開