私たちは、身の回りのモノに触れて育ってきました。私たちが日常生活で使うモノはものすごく沢山あります。コンピュータ機器の多くとは違い、日常生活のモノというのは使うのが楽しいものです。日常生活のモノについて話題にするとき、それに付随してくるものがもう１つあります。ジェスチャーです。それらのモノをどうやって扱うのか、実生活でそれらのモノをどう使うのか。
ジェスチャーはモノに対してだけ使うわけではありません。人に対しても使います。「ナマステ！」のジェスチャーは、誰かに敬意を示すときにします。インドの子供なら、これはクリケットの「4ラン」だと、教えられなくとも知っています。生活の中で自然に学び取るのです。

私は、早い時期に興味を持った事があります。
「モノやジェスチャーに対する私たちの知識や実生活でモノをどう使うかということが、デジタル世界をより良くするために役立てられないだろうか？」キーボードやマウスを使うかわりに、日常的なジェスチャーでコンピュータを使うことはできないだろうか？

8年ほど前に私はこの探求を始めました。そして、自分の机の上にあるマウスをまず手に取りました。それでコンピュータを使うというのではなく、中を開けてみたのです。マウスというのは、昔は中にボールが入っていました。2つのローラーがマウスを動かしたときのボールの動きを、コンピュータに伝えるようになっています。だから私は、この2つのローラーに興味を持ち、もっと欲しくなって友達からもマウスを借りました。返すことはありませんでしたが、これでローラーが4つになりました。そのローラーを使って何をやったかというと、マウスから取り外して一列に並べ、紐と滑車とバネをつけたのです。出来上がったのは、ジェスチャーをインターフェイスとする装置で、モーションセンサの働きをします。2ドルでできました。私が実世界でした動きが、この小さな装置を通してデジタル世界で再現されます。2000年のことです。

2つの世界の統合に私は関心があって、次に考えたのは付箋メモです。普段使っている付箋メモを、電子的な付箋メモへのインタフェースにできないだろうか？ 紙に書いたお母さん宛のメッセージがSMSとして届き、予定のメモが自動的にデジタルの予定表と同期し、TODOリストも自動的に同期するという具合に。そうすると、デジタル世界の中で検索することもでき、「スミス先生の住所は？」といった問い合わせもできます。結果は紙に印刷されて出てきます。これは入出力を紙でするシステムで、紙だけが外に見えています。

別な探求として、私は3次元に書けるペンというのも考えました。そのペンがあれば、デザイナーや建築家が3次元で考えるというだけでなく、実際に3次元で書くこともでき、ずっと直感的に使えるはずです。

Google Mapsを日常生活の中に引っ張り出せないか？ とも思いました。何かを探すために検索語を打ち込むのではなく、モノをその上に載せるのです。搭乗チケットを載せればゲートへの道順を示してくれ、コーヒーカップを置けばコーヒーを買える場所やゴミ箱の場所を示すという具合です。

どれも私が初期にやった探求です。私の目的は、ずっと、2つの世界を継ぎ目なく結ぶということでした。これらの実験にはどれも1つの共通点があります。身の回りの世界の一部をデジタル世界に持ってこようとしていることです。モノの一部や実生活の直感的な面をデジタル世界に持ち込んでいます。コンピュータをもっと直感的に使えるようにしたかったのです。

しかし、私たちが興味を持っているのはコンピュータ自体ではないということに気がつきました。私たちに関心があるのは、コンピュータの中にある情報です。私たちは物事について知りたいと思います どんなことが起こっているのかを知りたいと思います

それで去年の初めくらいから考えるようになりました。「このアプローチを逆にすることはできないだろうか？」 デジタル世界を取り出して 日常生活の中に投影してみたらどうだろう？ ピクセルデータは、このポケットに入る四角い装置の中に収められています。日常生活の世界へそれを解き放てるなら、ピクセルをいじるために新しい言語を覚える必要もなくなるのでは？

この夢を実現しようと、私は大きなプロジェクタを実際頭に載せてみました。ヘッドマウントプロジェクタというわけです。バイクのヘルメットに切り込みを入れて、プロジェクタがうまく載るようにしました。そうやって、デジタル情報で身の回りの現実を拡張できるようになりました。

しかし後になって、私はそのデジタル情報も操作したいと思うようになりました。それで、デジタルの目として小さなカメラを付けました。その後、もっと改良して、コンシューマ向けのペンダント型を作りました。それがご存じのSixthSenseデバイスです。

このテクノロジーが特に興味深いのは、自分の行くところはどこへでもデジタル世界を持っていくことができるという点です。どこか壁を見つけ、それを操作面として使うことができます。カメラがジェスチャーを捉え、様々な身振りを解釈します。初期のバージョンでは、ご覧のようなカラーマーカーを使っていました。どこの壁でもかまいません。壁の前で立ち止まって投影します。追跡するのは一本の指だけではありません。両手の指がすべて使えます。だから地図を両手でつまんで拡大・縮小ができます。カメラで実際にやっているのは、エッジ認識や色彩認識そのほか沢山の細かいアルゴリズムによる処理です。技術的には結構複雑なのですが、結果としては直感的に使えるものになっています。

これの楽しいところは、外に持ち出せるということです。カメラをポケットから取り出すことなく、ただ写真を撮るジェスチャーをするだけで写真を撮してくれます

写真を撮ったら、どこでも壁を見つけて写真を映して見ることができます。「よし、この写真にちょっと手を入れて友達にメールで送ってやろう」私たちは、コンピュータの世界と日常の世界が混じり合う時代を迎えようとしているのです。適当な壁がないときには、自分の手のひらの上で簡単な操作をすることもできます。（実際のデモ動画を見ながら）手のひらでダイヤルしているところです。カメラは手の動きを認識するだけでなく、さらには、手に持っているモノを認識することもできます。

たとえば、ここでやっているのは、手に取った本の表紙を、何千何万というオンラインの情報と照合し、どの本かを調べています。どれかわかったら、その本のレビューを表示したり、ニューヨークタイムズのサイトにある音声による解説を引っ張ってきて、実際の本を手にしながら聞くことができます。（デモ動画の音声「…ハーバード大学で行われた有名な講演で――）

これはオバマ大統領が先週MITを訪れたときのものです (――特にMITの2人の傑出した教授にお礼を言いたい」)。私は、彼の講演のライブビデオを外で新聞の上で見ているわけです。あるいは、コンピュータを使わずに新聞でライブの天気情報を見ることができます。

私が帰るときには、搭乗チケットで飛行機の遅れを確認できます。iPhoneを取り出してアイコンを叩くまでもありません。この技術は、モノばかりでなく人との関わり方も変えます。お遊びとして、ボストンの地下鉄に乗って、電車の床で卓球ゲームをすることだって出来ます(笑)。このようなテクノロジーが生活に溶け込むとき、できることを制限するものは、自らの想像力だけです。

私たちが扱うのは、日常生活のモノばかりではないと言う人もいるでしょう。実際、会計とか編集とかいろんなことをします。そして、あなた方の多くは、次世代のタブレットPCが市場に登場するのを心待ちにしていることでしょう。私はそれをただ待っているのではなく、自分のを紙切れを使って作ることにしました。私がやったのは、Webカメラにはマイクが入っているのですが、それを取り出してクリップにして紙に付けられるようにしました。どんな紙でも使えます。そうすると、紙にタッチしたときにタッチ音が出るようにできます。実際の指の動きはカメラが把握します。

もちろん映画だって見ることができます (映画の音声「こんにちは 僕はラッセル 荒野探検隊 第54隊の隊員です」)

それにゲームも――ここでは紙をどう持っているかをカメラが把握して、レーシングゲームを操作しています。

見ることができることについては、お分りいただけたと思います。Webサイトやコンピュータ画面を紙切れの上で見ることができます。どこにいようと、もっと面白いのは、これをもっと生きたものにするということです。自分の部屋に戻ったとき、情報をつまんでパソコンの上に落としてやれば、続きを大きなパソコンでやることができます。

コンピュータだけではありません。紙にもできます。紙の世界で遊ぶのはとても面白いです。資料の一部をこちらに取って、別なところからも何か取ってきて、情報をその場で修正できます。
「よし、いい感じにできたぞ。印刷しよう」そうして印刷します。このような、20年くらい前にやっていたやり方のほうが、2つの世界の間で行き来する現在のやり方より直感的です。

最後になりますが、身の回りのモノに情報を統合することで、これら2つの世界の溝を埋めデジタルデバイドをなくせるだけでなく、もっと身の回りの世界と繋がり、もっと人間らしく生きられるようになると思います。そして私たちは機械の一部みたいにならずにいられるでしょう。

以上です。

(スタンディングオベーション)

どうもありがとうございます。