ライトフィールドカメラの原理

　先にも説明したように、ライトフィールドカメラの中のマイクロレンズを通ったあとのセンサー出力は、 レンズを通った場所の光量に比例しています。 そして、各マイクロレンズの位置は、従来のカメラのセンサー位置あるいはフィルム位置ですから、 マイクロレンズ群の中の特定のマイクロレンズを通った光は、 被写体の特定の場所から発した光です。 つまり、センサーの全ての画素は、異なった意味を持っており、 それは被写体の像の特定の部分で、 しかもその像がレンズの特定の場所を通ったという二つの情報を持っているのです。 下の図では、赤に色分けされているセンサーは、被写体（矢印）の上端のしかも、 レンズの上端を通った光ということになります。 　そして、思い出した頂きたいのですが、このセンサー上の像は、ピンホールカメラと同じ原理で、 被写体が焦点位置からずれてもボケていない像なのです。 くどいようですが、被写体の下端の光の通り方は下の絵のようになります。 　この２つの図から、レンズの上端と下端を通る光だけを抜き出したのが下の図です。 　上の図で、赤の線に着目して下さい。赤の線のレンズ上端に人間の目があるとすると、 この目はレンズ上端から被写体を見ていることになります。 一方、緑の線は、レンズ下端から被写体を見ていることになります。 つまり、赤の光線の入るセンサーのみで像を作ると、被写体をレンズ上端から見た像になり、 緑の光線の入るセンサーのみで像を作ると、被写体をレンズ下端から見上げた像になるのです。 ２つのカメラで像を捉えていることになるのです。立体カメラと同じ原理です。 実際には２か所からだけ見ているわけではなく、レンズのあらゆるところを通して見ていますから、 マイクロレンズの数だけ目があるということになります。なんとなく立体視が出来る謎が解けてきたと思いませんか？ 　

　さて、どうやっていろいろな位置にフォーカスを合わせることが出来るかという説明の前に、 今までに出てきた図の中でフォーカスがずれている部分の像がどうなっているかを考えましょう。 　上の図のように、被写体の前に異物を置いてみます。図の青の点です。 フォーカスは被写体（矢印）に合っていますから、異物はボケて写るということは容易に想像できます。 先ほどと同じようにレンズの上端から被写体の方を見てみます。 そうすると、異物も見ることができます。 異物は、赤の点線に比較的に近いところにあるのが判るはずです。 従って、主レンズを通ったあとも赤の点線に近いところを異物の光線は通ることになります。 この光線を上図では赤の一点鎖線で示しております。

　一方、レンズの下端から被写体を見た場合はどうでしょう。 今度は緑の実線の近くに異物を見ることができるはずです。 従って、レンズを通ったあとも緑の実線に近ところを異物の光線は通ります。緑の一点鎖線がその光線の通るところです。 　この２つの一点鎖線に注目します。 この２つの一点鎖線は、マイクロレンズの位置では交わりません。なぜなら、被写体より前に異物があり、 焦点が合っていないからです。 一方、被写体の上端の像は赤と緑の実線の光線ですから、一番下のマイクロレンズのことろで交わっています。 従来のカメラでは、このマイクロレンズの位置にセンサーやフィルムがあるわけですから、 フォーカスが合っている限り、マイクロレンズ位置でも光線が交わりピントのあった像ができます。 しかし、異物の像はマイクロレンズ上では交わらないのです。ですから異物の像はボケるのです。 ボケというのは、なんとなく像が拡がるというイメージを持たれておられる方が多いと思いますが、 像が拡がるというよりも、像が一点に交わってないということなのです。

　いま、わざわざピントが合っていない異物のボケの話をしました。 なぜその話を持ち出したか言いますと、 ここにピントがどこにでも合わせることができるヒントがあるからです。 少し前の話で、レンズの上端を通った光はピンホールカメラと同じ特性を持っているという話をしました。 ピンホールカメラと同じ特性というのは、ボケがないということです。 つまり、先ほどの絵で一点鎖線の像は実はボケてはいないのです。 ボケてはいないのですが、フィルム面で一点に交わっていないので、ボケてしまうのです。 であれば、もうお気づきかもしれませんが赤や緑の一点鎖線の光線を独立に取り出してやれば、 ボケてない像が得られるはずです。 ライトフィールドカメラは、先にも説明しましたが、マイクロレンズの後にセンサーが配置され、 レンズの通過場所毎の像を独立に取り出すことができるものでした。 従って、どのセンサーの出力を使えば良いかということさえ判れば異物のボケていない像を取り出すことができるのです。

　もう少し具体的にボケていない像を取り出す方法を示します。 少し前の話に戻りますが、焦点の合っている状態では、 被写体の特定の部分とマイクロレンズが１：１に対応しているということをお話しました。 また、マイクロレンズの後の各々のセンサーは、 そのマイクロレンズを通った光がレンズのどの部分を通った光であることを示していました。 つまり、センサーの画素は、フォーカスが合っている被写体の特定部分の しかもそこから来た光がレンズの特定ヶ所を通った光を受光しているということでした。 そのことを頭に置いて、下の図をご覧ください。 　この図は、被写体の上中下３点からカメラに入る各々５本の光線を全て表現したものです。 ５本の光線とは、被写体から出て、レンズの上端を通る光、レンズの中心を通る光、レンズの下端を通る光、 それとそれぞれの中間を通る光です。 いままで説明してきたように、５本の光線は、３つのマイクロレンズの中心で交わります。 マイクロレンズがなければ、通常はそこにフィルムやセンサーがあるからです。 そして、５本の光線は、マイクロレンズを通過した後、各々別のセンサーに入ります。 主レンズと、マイクロレンズとセンサーの位置関係が固定されると、この光線の通る道は固定されます。 被写体がどこにあろうが、この光線の通る道は、主レンズ、マイクロレンズ、センサの位置関係で決まりますから、 固定されてしまうのです。 　今、被写体を丁度フォーカスが合う位置（図では第一物体面Ｔ１）に置いたとします。物体上のＡ点から 出た光は、マイクロレンズの中心Ｃ点に集まります。つまり、Ｃ点を通った光を全部集めてやれば Ａ点の像ができるわけです。フォーカスが合っている時、マイクロレンズ毎のセンサー出力を合計すれば フォーカスが合っている部分の像ができるということです。

　では、像ががずれている時の画像はどうすれば得られるでしょう？　 被写体が上図の第二被写体面Ｔ２にある場合を考えます。 レンズは動かさないとすると、マイクロレンズより後の第二焦点面Ｆ２というところに像が出来ているはずです。 （逆に、被写体が、Ｔ１よりも左側にずれている時は、マイクロレンズよりも左側に像が出来ているはずです。） 今、Ｔ２に物体が合った時、Ｂ点の像がどこにできるかは計算できます。Ｂ点の像がＤ点に出来たとします。 実際は、Ｄ点に到達する前にセンサーに光は入ってしまいます。図の場合は、センサーの中の一番上の画素に 入っています（赤く塗りつぶした画素です）。 　ということは、赤く塗りつぶした画素の出力を位置を変えてＤ点に描画してやればＢ点の画像、つまりＢ点に フォーカスが合っている画像が得られるということです。 　ではＤ点の位置はどうやって求めれば良いのでしょうか？ センサーとレンズの位置関係はハード的に決まっています。 　上図に示したように、Ｆｉｇ　９の一番上のマイクロレンズと、センサーの部分を拡大したものです。 マイクロレンズとセンサーの位置関係は、機械的に固定されていますので、設計値上で 各センサーの画素が受光する光のマイクロレンズに対する角度θは、決まっています。つまり、Ｆｉｇ　９で 示したＡ点から発してレンズ下端を通った光も、 Ｂ点から発してレンズ下端を通った光も全て赤で塗りつぶしたセンサーに入るのです。 　一方、第一物体面から第二物体面までの距離を決めてやれば、第一焦点面から第二焦点面までの距離ΔＦも 決まりますので、第一焦点面、第二焦点面間隔と角度θから、Ｄ点の位置（光軸からの距離）も決まります。Ｄ点の位置を 計算し、赤で塗りつぶした画素の出力に見合った明るさで描画すれば、Ｂ点に焦点があった画像が得られる わけです。この計算を全ての画素に対して実行すれば、第二物体面に焦点のあった画像が得られるというわけです。 　この他にも、別の場所にフォーカスを移動した時の画像を得る手段は有ります。 例えば、Ｆｉｇ　９のＴ２面を、赤の緑と青の光線が貫いていますが、各光線の強度は、センサーで個別に得られて いますので、Ｔ２面と各光線が交わる位置を計算して、その位置にセンサー出力に見合った明るさで描画 してやっても同じ結果が得られます。描画方法は他にもありますが、ここでは省略します。

　ここまでの説明で、お判りかと思いますが、ライトフィールドカメラというのは、マイクロレンズとその 後のセンサーの位置関係で主レンズから後の光の経路が決まってしまい、さらに、主レンズより前は主レンズの 焦点距離によって決まってしまうのです。Ｆｉｇ　９で示した、赤と青と緑の線は、被写体とは関係なく固定され 、被写体が置かれる位置によってこれらの光線とクロスする被写体の微小部分がその光線のセンサーで 受光されているのです。 まるで、網の目のように、あるいはクモの巣のように張り巡らされた光線によって、被写体を補足するように なっているということです。このあたりがライトフィールドと呼ばれる所以なのかもしれません。

　いかがでしたでしょうか。少し長くなりましたが、ライトフィールドカメラというのは、 意外に単純な原理であるということがお判りいただけたのではないでしょうか。 専門的な光学の用語や知識はなるべく避けて記述したつもりですが、お判りにくい点があったかもしれません。 ご容赦願います。 ライトフィールドカメラにはひとつ大きな欠点があります。それは解像度です。 いままでの説明でお判り頂けたと思いますが、ライトフィールドカメラの解像度は、 マイクロレンズの数で決まってしまうのです。 ひとつのマイクロレンズの後のセンサーの数を１マイクロレンズあたり１００個にしたとすると、 ２０００万画素のカメラのセンサーを使ったとしても、 １／１００の２０万画素になってしまうということです。 しかし、今までにはなかった新しいコンセプトで、 しかもデジカメにしか出来ないこの技術は大きな可能性を持っていると思います。 アップルがこの関連の特許を取得したというニュースが流れました。 近い将来iPhoneにライトフィールドカメラ搭載されるかも知れません。