【電荷領域時間圧縮による疑似dToFイメージング】

Fig. 1. Fig. 2. Fig. 3. Fig. 4.

物 体やシーンの3次元形状を測る方法の1つに，光飛行時間(TOF: time of flight)法があります．これは，カメラの直近に置いた変調光源から物体までの距離を，光が射出されてカメラに戻ってくるまでの時間から計測する方法です． これには，高い時間分解能をもつ特殊なイメージセンサが使われます． [Fig. 1]TOF法は計算量が少なく，カメラシステムを小型化できるメリットがありますが，ガラスなど の透明物体の反射などによる干渉により，計測距離に誤差が生じるという問 題があります．これはマルチパス干渉と呼ばれます．（※コヒーレントな干渉とは異なります） [Fig. 2]コンピュテーショナル超高速イメージセン サを利用することで，マルチパス干渉による複数の反射ピークを時間的に圧縮し，撮影後の後処理により分離することで，誤差を なくすことができます．複数の周波数からなる時間符号化シャッタを用いることを検討しています． [Fig. 3]センサによりマクロ画素ごとに16種類の時間圧縮信号が得られます．これを逆問題を解くこと で複数の反射ピークに分離し，さ らにそれぞれのピーク位置を反復法により高精度化します． [Fig. 4]カメラの前方1mに透明なアクリル 板，8.2ｍにミラーを置いた場合の実験結果です．通常のTOFでは2つの信号が混じり，平均化された中間的な距離が求まり ます が，この方式では2つの反射信号が正しく分離されています． Grants: Grant-in-Aid for Scientific Research (S) Number 17H06102 (2017-2022). Pick-up publications: T. Kokado et al., IE2020, Paper ISS-273 (Jan. 2020). F. Mochizuki et al., ITE MTA, Vol. 6, Issue 3, pp. 202-211 (Jul. 2018)[Link]

トップへ

【TOFにおけるマルチパス信号解析】

Fig. 1.   Fig. 2. Fig. 3. Fig. 4.

[Fig. 1]光飛行時間(TOF: time of flight)を用いた距離計測では，様々なマルチパス干渉が計測距離の誤差要因になります．図には4種類の主な干渉要因を示しています． [Fig. 2]川人・香川・安富研究室で開発されているラテラル電界制御電荷変調器(LEFM)は，サブナ ノ秒の時間分解 能をもつ時間分 解イメージセンサの基盤技術です．動画は，LEFM画素を用いたイメージセンサで計測したものす．わずか一辺10cm程度の空間内に配置された複数の物体を，厚み3cm程 度の光の板が舐めていく様子を捉えています． [Fig. 3]光は物体の内部にも散乱により染み込み，吸収を受け，そ の一部がカメラに 戻ってきます．多くの場合，物体の表面で反射される光よりも，物体内部で散乱によりランダムに走行してからカメラに戻ってくる光の成分 が多いため，その分計測距離が長くなります．図は様々な素材に短パルスを照射した時の反射波形ですが，素材により形状がわず かに異 なります．これが数mmから数10mmの計測誤差となります． [Fig. 4]閉じた空間では，光が 何度も散 乱・反射を繰り返すため，光パルスがさらに長く複雑に引き伸ばされます．図のように一辺10cmの箱を作り，開口から短パルスを内部に照射 します．箱の中にはサイコロが置かれていますが，時間分解カメラで捉えた光の反射波形は場所によって異なります．理想的な TOFでは，どの場所でも同じ波形で，ピーク位置のみが距離に応じて時間的にシフトします．しかし，マルチパス干渉があると 非常 に複雑な波形になります．これは空間の3次元的な形状，素材の散乱・吸収係数，屈折率，光源・カメラとの位置関係など多くの情報 を含んでおり，信号波形からこれらを逆推定することが出来ると考えています． Grants: Grant-in-Aid for Scientific Research (S) Number 17H06102 (2017-2022). Regional Innovation Ecosystem Program. Pick-up publications: R. Miyagi et al., IWISS2018, Poster08 (Nov., 2018).[Link]

トップへ

【圧縮ビデオ】

Fig. 1. 画像提供：大阪大学データビリティフロンティア機構 長原一教授[link] Fig. 2.

静 止画や動画はJPEG, H.264といった標準化された信号処理により圧縮されて流通しています．そのため，デジタルカメラやビデオカメラのほぼ全てに，イメージセンサが出力する非圧縮画像デー タをディジタ ル的に圧縮する専用LSIが搭載されています． [Fig. 1]コンピュテーショナルフォトグラフィの手法を用いると，そのような圧縮用LSIを用いること なく， イメージセンサの画素内で，電荷信号のまま効率的に信号圧縮することができます．そのために符号化露光と呼ばれる方法を用い ます．画素単位に，ある時刻に受信した光信号を捨てる(0)／保持する(1)を決めます．画素アレイ全体では，この露光パ ターン は2値画像となりますが，通常は図に示すランダムパターンを与えます．このパターンを時刻ごとに変えながらある一定時間 （例えば1秒）露光すると，動いた部分がザラザラになった画像が1枚カメラから出てきます．これを計算機で展開処理すると，30 枚程度の時系列の動画像に戻ります．手品の様な方法ですが，この様なイメージング手法を総称してコンピュテーショナルフォト グラフィ，コンピュテーショナルイメージングなどと呼びます． [Fig. 2]符号化露光による同画像圧縮機能をも つイメージセンサを， シンプルな画素・周辺回路構成で実現する研究を進めています． Grants: Grant-in-Aid for Scientific Research (S) Number 17H06102. Pick-up publications: M. Yoshida et al., IWISS2018, Poster01 (Nov. 2018).[Link]

トップへ

【時間分割多重SFDI】

Fig. 1. Fig. 2. Fig. 3. Fig. 4.

[Fig. 1]空 間周波数領域イメージング(SFDI)は，プロジェクタを用 いて生体に複数の構造光を投影し，少なくとも2種類の空間周波数 に対する反射率を計測し，そこから（等価）散乱係数，吸収係数を定量的に画像化する方法です．非接触，非侵襲といった利点が ありますが，構造光を投影しているうちに被写体が動くと計測値に大きなが誤差（モーションアーティファクト）が発生する問題 がありま す．また，環境光がバイアスとなるため，これも誤差に繋がります． [Fig. 2]通常のイメージセンサの画素は1画素で1つのフォトダイオードと1つの電荷蓄積部を持ちま す．これに対し，本研究室で開発しているマルチタップ画素は，1画素に1つのフォトダイオードと複数の電荷蓄積部を持ちま す．図の様に4つの電荷蓄積部をもつ場合（4タップ画素），3種類の構造光と環境光のみの画像を同時撮影することができま す．環境光成分を減算することで，環境光バイアスによる誤差を除去します． [Fig. 3]画素内の電荷転送は非常に早いので，ビデオレート（毎秒30枚）の8倍程度で投影光の切り替 えと電荷転送を行います．すると，被写体が動いてもその動きは全ての構造光に対してほぼ同じになり，モーションアーティファ クトの影響が大きく低減されます． [Fig. 4]4タップセンサを用いて実験的に効果を確認しました．環境光バイアス，モーションアーティ ファクトが大きく低減されていることが分かります．同様のことは高速カメラを用いても可能ですが，画像データが非常に大きく なります．マルチタップ画素を用いることで，画素内の電荷転送だけを高速に行い，フレームレートは従来のスピードに据え置く ことができ，効率的なシステムを実現します． Grants: Grant-in-Aid for Scientific Research (B) Number 18H01497 and (S) Number 18H05240 (2018-2020). Pick-up publications: Y. Nishioka et al., Photonics West 2019, Paper 10874-22 (Feb. 2019). K. Kagawa et al., IWISS2018, Invited09 (Jun. 2019).[Link]

トップへ

【空間分割多重SFDI】

Fig. 1. Fig. 2. Fig. 3. Fig. 4.

[Fig. 1]生体は光を散乱するだけではなく，様々な物質が光を吸収します．図に示すように，血液に含まれる酸素化／脱 酸素化ヘモグロビン，皮膚表層にだけ存在するメラニン，深部に存在する脂質，長波長では水が主要な色素となり，特徴的な吸収 スペクトルを示します． [Fig. 2]空間周波数領域イメージング(SFDI)により色 素濃度を定量的に画像化するには，多波長に 対して反射率を計測する必要があります．また，血流スピードも重要な情報であるため，同時に計測できることが望まれます．そ こで，小型マルチアパーチャカメラTOMBOを利用したマルチスペクトルカメラをSFDIに利用することを検討しています． これにより，多波長の反射画像が一度に得られ，迅速な計測が可能です． [Fig. 3]市販の近赤外感度を高めたマシンビジョン用カメラをTOMBO化した例です．それぞれの小さ いレンズに自由に光学フィルタを取り付けてカスタマイズできます． [Fig. 4]腕の撮影例です．複数波長に対する反射画像が同時に得られます．既知の吸収スペクトルとの フィッティングを行うことで，生体色素濃度を画像化することができます． Grants: Grant-in-Aid for Scientific Research (B) Number 18H01497 (2018-2020). Pick-up publications: Y. Nishioka et al., Photonics West, Paper 10874-22 (Feb. 2019). J. Tanida et al., Applied Optics, Vol. 40, Issue 11, pp. 1806-1813 (2001).[Link]

トップへ

【蛍光寿命イメージング】

Fig. 1. Fig. 2. Fig. 3. Fig. 4.

こ の研究テーマでは，細胞などの微小領域の化学的な3次元情報を高速に計測する顕微鏡システムを開発しています．そのために， 蛍光寿命イメージセンサ，多焦点共焦点顕微鏡を用います． [Fig. 1]蛍光色素を短パルスで励起すると，時間的に指数関数的に減衰する蛍光を発します．その定数は 蛍光寿命と呼ばれ，蛍光強度に無関係でありながら，蛍光分子の微小環境（pH, 温度, 相互作用する分子の距離や濃度）に依存して変化します． [Fig. 2]図は細胞の核と細胞質を異なる蛍光寿命をもつ蛍光色素で染色し，研究室で開発した4タップ蛍 光寿命イメージセンサで捉えたものです．励起光は視野全体を照明しており，この顕微鏡システムは広視野顕微鏡と呼ばれます． [Fig. 3]それに対し，励起光（通常はレーザー）を回折限界まで絞り，その焦点付近だけの蛍光を検出す るものを共焦点顕微鏡と呼びます．デフォーカス像が除去されるため，焦点面だけの蛍光画像がZスライスとして得られます．焦 点面を動かしながら撮影することで，精細な3次元蛍光像が得られます．レーザースポットを2次元的に多数並べて同時多点計測 することで計測スピードを向上した多焦点共焦点顕微鏡が開発されています． [Fig. 4]本研究室で開発した高感度広視野蛍光寿命イメージセンサを多焦点共焦点顕微鏡に適用し，蛍光 寿命の3次元計測を高スループットで行うシステムを開発しています． Grants: Grant-in-Aid for Scientific Research (S) Number 18H05240 (2018-2020). Pick-up publications: K. Kagawa et al., Photonics West, Paper 9330-15 (Feb. 2015). M. Seo et al., IEEE J. Solid-State Circuits, Vol. 51, Issue 1, pp. 141-154 (Jan. 2016).[Link] M. Seo et al., IEEE J. Solid-State Circuits, Vol. 53, Issue 8, pp. 2319-2330 (Aug. 2018).[Link]

トップへ

イメージセンサ

【超高速コンピュテーショナルイメージセンサ】

Fig. 1.

[Fig. 1]超高速コンピュテーショナルイメージセンサは複数の回路・デバイス設計技術を結集したものです．時間符号化 シャッタ制御部はハードウェア記述言語Verilogによって書かれ，自動合成により回路化されます．画素には超高時 間分解能のラテラル電界制御電荷変調器(LEFM)が利用され，その設計にはイメージセンサ専用デバイスシミュレータである SPECTRAを用いています．さらに，画素アレイを高速するには，回路を適切にモデル化してシミュレーションするための Spectreという回路シミュレータが使われています．レイアウトと回路図はVirtuosoというLSI専用の描画ソフ トを使います．それ以外にADC，バイアス回路，SPI，ディジタル読み出し回路など多くの 回路ブロックがあります．イメージセンサの開発には，多くの人の協力と緻密な連携が必要なのです． Pick-up publications: K. Kagawa et al., IISW2019, Paper R36 (Jun. 2019).[Link]

トップへ

【空間・時間分割多重，符号化露光用マルチタップイメージセンサ】

Fig. 1. Fig. 2. Fig. 3.

[Fig. 1]イメージセンサでは，信号を電荷として扱います．完全電荷転送により，ノイズが発生しないことが特徴です． 回路を用いて信号処理する場合，1/fノイズ，熱ノイズ，それに起因するkTCノイズが発生します．図に示すような基本的な 電荷操作・計測があります． [Fig. 2][Fig. 3]本研究室で開発しているマルチタップ電荷変調器は，1つの フォトダイオードで発生した電荷を複数ある電荷蓄積部に選択的に転送します．これにより，ロックイン撮像（ホモダイン，ヘテ ロダイン），時間分解撮像，時間分割多重撮像， （時間）符号化露光などが可能となります．ナノ秒以下の時間分解能をもつ時間分解撮像用の電荷変調器は最も設計難易度が高いものです．研究室では，応用・ 要求性能に合わせて，蓄積数部の数が1, 2, 3, 4, 7, 8のものを開発しています． Pick-up publications: S. Han et al., IEEE J. Electron Devices Society, Vol. 3, Issue 3, pp. 267-275 (May 2015).[Link] M. Seo et al., IEEE J. Solid-State Circuits, Vol. 51, Issue 1, pp. 141-154 (Jan. 2016).[Link]M. Seo et al., IEEE J. Solid-State Circuits, Vol. 53, Issue 8, pp. 2319-2330 (Aug. 2018).[Link] Y. Shirakawa et al., MDPI Sensors, Vol. 20, Issue 4, Article 1040 (Feb. 2020).[Link] Related publications: G. Wan et al., IEEE J. Solid-State Circuits, Vol. 47, Issue 4, pp. 1031-1042 (Apr. 2012).[Link]

トップへ

【XYアドレス式コンピュテーショナルイメージセンサ】

Fig. 1. Fig. 2.

CMOS イメージセンサはCCDイメージセンサと異なり，画素読み出しの自由度が高いことが特徴です．XYアドレス，つまり，任意の 画素を選択して読むことが出来ます．しかし，通常のCMOSイメージセンサでは制御信号の多くが共通化されているため，行単 位で読むことしか出来ません．また，完全に自由に読もうとすると回路が複雑化し，実用性の点で問題が生じます． [Fig. 1]XYアドレスを可能とするには，画素にトランジスタを1つ増やす必要があります．本研究室で は，任意のクロスバーアドレスにより時間的な符号化露光を行うイメージセンサを開発しています．回路が複雑化することなく， イメージセンサに高い機能性を持たせることができます． [Fig. 2]8×8画素単位で，左半分または右半分だけ露光する2種類の符号化シャッタを適用した結果で す．静止物体ではシャッタの違いは分かりませんが，物体を動かすと符号化シャッタのパターンが見えて来ます． この様なシンプルでありながら高機能をもたらすイメージセンサは．コンピュテーショナルフォトグラフィの基盤デバイスになる と考えています． Related publications: O. Y-Pecht, et al., IEEE J. Solid-State Circuits, Vol. 32, No. 2, pp. 285-288 (Feb. 1997).[Link]

トップへ

光学

【空間光変調器の応用】

トップへ

【マルチアパーチャおよびマイクロレンズ応用】

トップへ

【多焦点共焦点顕微鏡】

トップへ

計測法・信号処理

【空間周波数領域生体イメージング (SFDI)】

Fig. 1. Fig. 2.

生 体は光を散乱と同時に吸収する複雑な対象です．赤色のレーザーポインタで肌を照明すると，光がぼんやり広がることが分かりま す．（緑色はあまり広がりません）プロジェクタの像を肌に当てると，ピントが合っていてもぼやけて細部がよく見えないことに 気づくでしょう．このように，生体は空間的なローパス フィルタとして機能します．ローパスフィルタの特性は，生体の（等価）散乱係数と吸収係数に依存します．そこで，生体に正弦 波の様な縞模様を投影し，縞の変調度を調べると，（等価）散乱係数と吸収係数を推定することが出来ます．推定には少なくとも 2つの空間周波数について反射率（もしくは変調度）を計測する必要があります． Related publications: D. Cuccia et al., JBO, Vol. 14, No. 2, Article 024012 (2009).[Link]

トップへ

【時間分解近赤外分光法(TR-NIRS)と時間周波数領域イメージング (TDFI)】

Fig. 1. Fig. 2.

[Fig. 1]生体をストライプパターン状の光強度分布をもつ短パルスで照明すると，照射光は生体の深部に潜り，非照射部 に達します．その深さは，照射部と検出部の距離に依存します． [Fig. 2]検出される時間波形は生体深部の（等価）散乱係数と吸収係数に依存して変化します．一般的 に，散乱係数が大きいと光は時間的に広がります，吸収係数が大きいと光は進行経路に沿って急激に減衰するため，広がりは小さ くなります．右図は非照射部の中央で検出した光強度の時間波形をフーリエ変換し，基本周波数成分の位相と振幅を示していま す．この様に，等価散乱係数μ's，吸収係数μaによって，振幅と位相が独立に変化しています．これは計測した時間波形から 逆に生体深部のμ's, μaを推定できることを示しています．時間波形から生体の光学パラメータを推定する方法は時間分解分光法(TRS)または時間分解近赤外分光法(TR-NIRS)と呼ばれます．時間周波数領域で処理する方法を時間周波数領域イメージング(TFDI)と呼んでいます． Related publications: M. Patterson et al., Appl. Opt. Vol. 28, Issue 12, pp. 2332-2336 (1989).[Link]

トップへ

【圧縮センシング (CS)】

Fig. 1. Fig. 2.

[Fig. 1]信号のスパース性は信号処理に大きな変革をもたらしました．例えば，デジカメで撮った画像は画素数分の情報 を持っているわけではありません．レタッチソフトなどでエッジ抽出をしてみると分かりまっすが，エッジ部分が明るくなり，ほ とんどの部分は暗くなります．この様に，多くの実世界の情報は情報が局在化している＝スパースである，といった特性がありま す．この特性を利用することで，情報を圧縮して少ないサンプリングデータを計測し，そこから計算機により元の情報を復元する 方法が圧縮センシング(CS)もしくは圧縮イメージングです． [Fig. 2]圧縮センシングの考え方を導入した新しいイメージセンサを創り，信号処理と連携することで， イメージセンサだけで は実現できない超高速撮像など，極限的なイメージングが可能になります． Related publications: E. Candes et al., IEEE Signal Processing Mag., Vol. 25, Issue 2, pp. 21-30(Mar. 2008).[Link]

トップへ