近年、イベントカメラと呼ばれる新しいカメラが注目されています。イベントカメラは生物の網膜（バイオ）から着想を得て生み出されたセンサであり、撮影する対象の輝度の変化を検知して時間・輝度変化・場所などの「イベント」データを出力します。μsオーダーの極めて高いフレームレート・高いダイナミックレンジ・低消費電力などが主な特徴として挙げられており、リアルタイム性が問われる技術シーンでの活用が期待されている技術です。
本コラムでは、イベントカメラの研究者として有名なチューリッヒ工科大学のTobi Delbruck氏が開発したロボットを参考にしながら、イベントカメラでどのようなことが実現できるのかをご紹介します。
カードマジックロボット
トランプを使ったマジックで、バラバラにシャッフルされた束の中から観客が選んだ1枚を抜き取るというトリックを見たことがある人は多いのではないでしょうか。
マジックの場合は何らかのタネや仕掛けがあるものですが、イベントカメラを使えばタネや仕掛けもなしに目的のカードを抜き取ることができます。
Trixsy – The card finding magic robot
「Trixsy」はTobi Delbruck氏が開発したカードマジックロボットです。束の中から無造作に抜き取ったトランプを「Trixsy」のカメラに見せると、そのトランプの絵柄を学習します。その後、トランプの束をバラバラにシャッフルし、カメラの前でパラパラとめくると、「Trixsy」は事前に学習したトランプの位置を瞬時に検知し、素早くパネルを差し込んで止めてしまうのです。
動画の中で実際に試しているように、人間が「Trixsy」と同じことをするのは極めて困難です。高速でパラパラとめくられているトランプの束の中から目的のトランプを見つけ出せたとしても、その位置に指を出して止めることはできないでしょう。
イベントカメラには、そのフレームレートの高さからデータ送受信の遅延が少ないという特徴があります。「Trixsy」が目的のトランプを瞬時に検知できるだけでなく、正確にパネルを差し込むこともできるのは、イベントカメラならではの芸当といえます。
お札キャッチロボット
人間の反射神経を使った遊びの一つに、「お札キャッチ」があります。一人はお札を持って適当なタイミングで手を離す、もう一人はお札が落下するのを見てから掴む、というものです。
実際にやってみるとよく分かりますが、落下するお札を掴むのは簡単ではありません。人間が目で見たものを脳で判断し、手を動かすまでの時間は平均で0.2秒ほどであることが知られています。その0.2秒の間にお札が落ちてしまうので、なかなか掴むことができないのです。
しかし、Tobi Delbruck氏が開発した「お札キャッチロボット」は、人間以上の反射神経でお札を正確にキャッチできます。
DVS bill catcher robot
動画に登場するのはイベントカメラとアームだけのシンプルなロボットですが、何度お札を落としても正確にキャッチしていることが分かります。これも、イベントカメラが落下するお札の動きを瞬時に検知し、素早くデータを送受信することによって実現しています。
じゃんけんロボット
Tobi Delbruck氏の開発したロボットをもう一つ紹介します。それは、イベントカメラを活用した「じゃんけんロボット」です。
Dextra RoShamBo robot using NullHop CNN accelerator
「じゃんけんロボット」は、イベントカメラとロボットハンドで構成されています。対戦相手の人間がじゃんけんでグー・チョキ・パーのいずれかの手を出すと、イベントカメラがその手を瞬時に検知します。そして、人間が手を出してからわずか数ミリ秒後に、ロボットハンドが同じ手を出して必ず「あいこ」になるように制御するというものです。動画では「あいこ」になるようにロボットハンドを制御していましたが、必ず勝つようにしたり、負けるように制御することも可能と考えられます。
「じゃんけんロボット」のじゃんけんは、相手の手を見てからロボットハンドが動く仕組みのため、本来は後出しじゃんけんと呼ぶべきです。しかし、ロボットハンドが手を出すスピードが非常に早いため、私たち人間の目からすると、後出しされているという感覚は少ないのではないでしょうか。今後さらに技術開発が進めば、人が手を出すのとほぼ同時にロボットも手を出せるようになっていくでしょう。
まとめ
今回は、イベントカメラの活用イメージを3つの動画をもとにご紹介しました。リアルタイム性が問われる技術シーンでイベントカメラの活用が期待されている理由が、よく分かったのではないでしょうか？
従来のカメラにはない優れた特徴を持つイベントカメラは、IoT・ロボット・自動運転・マシンビジョンといったこれからの時代に欠かせない用途で積極的に活用されていくと考えられます。まだまだ新しい技術ではあるものの、イベントカメラのさらなる発展に期待したいところです。
コメント