古代ギリシアでは 奴隷でも兵士でも詩人でも政治家でも 人生で最高に重要な問いに対して 大きな決断をしなければならない時 — 例えば 「結婚すべきか？」 あるいは 「この航海を始めるべきか？」 あるいは 「自軍はこの地域に進出すべきか？」 「巫女（オラクル）」に伺いを立てました

やり方はこうです 巫女に質問してひざまずくと 巫女はトランス状態となります ２、３日経つと 最後に 巫女が正気に戻って 答えとして予言をしました

古代中国の 「占い（オラクル）」の骨から 古代ギリシアやマヤ暦まで 人々は予言を切望してきました 次に何が起きるか 知るためでした 私たちは皆 正しい決断を 下したいと願うからです 見落したくないのです 未来は怖いので 結果に対して なんらかの保証があって 決断できると分れば すごくありがたいことなのです

さて私たちには 新しい「オラクル」があります その名も「ビッグデータ」や 「ワトソン」「ディープラーニング」 「ニューラルネット」呼び方は様々です 私たちが「オラクル」に 尋ねる問いは 例えば 「中国からスウェーデンに スマホを発送するための 一番効率の良い方法は？」 あるいは「私の子が 遺伝性疾患を持って生まれてくる確率は？」 あるいは 「この製品の 売り上げ予想は？」などです

私の犬は エルという名前で 雨が大嫌いです 雨嫌いをなくそうと あらゆることをしました でも 失敗に終わったので 私も「ダークスカイ」というアプリの 「予測（オラクル）」に頼らねばなりません 散歩前にいつも 今から10分間の正確な 天気予想を調べるのです とても可愛い犬です このような用向きのため 私たちの予測は1220億ドルの産業です

巨大な産業にも関わらず 利益は驚くほど低いです ビッグデータへの投資は容易ですが 活用するのは困難です ビッグデータを使ったプロジェクトの 73%以上は 赤字で 重役が私の所にやってきて こう言います 「私たちも同じ経験をしている ビッグデータのシステムに投資したが 従業員たちは良い決定ができない さらにブレークスルーになるような アイデアも出てこない」と

これは全て実に私にとって興味深いことです 私は テクノロジー・エスノグラファー （IT民族誌学者）だからです 私は人がテクノロジーを 利用するパターンについて 研究し 企業に助言していて 私が関心をもつ分野の一つが データなのです 得られるデータが増えても より良い決定の助けにならないのはなぜか？ こういったビッグデータの システムに投資するための あらゆるリソースを持つ 企業にとっては特にそうです どうして彼らにとって 簡単にならないのか？

さて 私はこのような葛藤を 直接見てきました 2009年に 私は ノキアで調査研究の仕事を始めました そして当時 ノキアは世界で最大手の 携帯電話会社であり 中国、メキシコ、インドなどの 新興市場を支配し — これら全ての国において 低所得層の人が どのようにテクノロジーを利用するか 調査研究をしました また非正規経済を知るために 特に中国には時間をかけました そこで 私は 建設労働者に 点心を売る 露天商をしました また フィールドワークで 何日も夜も昼もネットカフェで過ごし 中国の若者と出歩いたりして 若者が ゲームや携帯電話を どう利用しているか 田舎から都市部への移動時に 携帯をどう使うかを 理解することもしました

こういった 自分が集めた 質的証拠の全てを通して 私にはっきりと見え始めたのは 中国の低所得者層に まさに 大きな変化が起ころうとしていることでした 彼らは様々な贅沢品の広告に 囲まれていましたが 例えば 高機能トイレなどは 誰もが欲しいと思いますよね？ それとアパートや車などなど でも 彼らと会話して気づいたのですが 彼らが一番惹きつけられていた広告は iPhoneの広告で ハイテク生活へのデビューを 約束する広告でした そして私がこんな 都会のスラムに 暮らしていた時でさえ 人々が 月収の半分以上を投じて 電話を買うのを目にしました そうして増えたのが「シャンザイ」という iPhoneやその他のブランドの 安い模倣品でした かなり使い物になります 十分機能を果たします

数年間 移動労働者と生活や仕事を共にして 移動労働者がやることを ほぼ全てやった後で 私は 全てのデータポイントを まとめ始めて— 点心売りのような バラバラに見えるものから 携帯電話料金の 支払額の推移のような より明確なことまでをまとめ始めました そして 何が起ころうとしているかの 全体像を作ることができました そのときに分かり始めたことがあります それは 中国では 底辺所得者層の人々もが スマホを欲しいと考えていて 一台手に入れるためなら ほぼ何でもするということです

思い出してください iPhoneが出たての2009年 つまり 約８年前 iPhoneのような見た目の アンドロイド携帯も登場しました 賢くて 現実的な人たちの 多くがこう言っていました 「スマホなんて 一時の流行にすぎない 誰がこんな重いものを 持ち歩きたいと思うか？ バッテリだってすぐに切れるし 一度落としたら故障するのに」 でも 私は多くのデータを元に すごく自信を持って予見できました ワクワクしながら その予見をノキアに知らせました

でも ノキアは懐疑的でした それがビッグデータでは なかったからです 「我々は何百万もの データポイントを持っている けれど スマホを購入したいと 思う人の指標は見えないし たった100件の バラバラのデータでは弱すぎる まともに取り上げるに値しない」と 私は言いました 「御社のいう通りです スマートフォンがどういうものかを 人が知らないという前提で 調査していれば 当然 見えないでしょうね だから当然 これから２年間で スマホの購入を希望する人についての データを手にすることはありません 御社の調査と手法は 既存のビジネスモデルを 最適化するためのデザインですが 私が見ている人間の動態は これから出てくるもので まだ起きていない事象なんです 私たちは市場力学の外側を見て その先を行けるよう 努めています」と そして ノキアの結末は ご存知の通りです 業績は崖から落ちるように下がりました これは 大切なものを 見落としたことの代償です それは計り知れないものでした

でもノキアだけではありませんでした 様々な組織が いつもデータを 廃棄するのを見て来ました 理由は 定量モデルから 出たものではないとか 合致するモデルが ないというものでした でもそれはビッグデータのせいではありません ビッグデータを 私たちがどう扱うかであり 私たちの責任です ビッグデータを使用した成功例は ごく限定された環境の定量化に 基づいたものであり 送電網や物流システムや 遺伝子コードなど ほぼ閉じたシステムを 定量化した場合です

でも 全てのシステムが きちんと閉じている訳ではありません より動的なシステムで 定量化を行う場合 特にシステムに 人間が関与している場合は 影響を与える要素は複雑で 予想不可能になり これらに関して うまくモデル化する術がありません 人間の行動について 一旦何かを予想すると 新たなファクターが出現します なぜなら 常に条件は変化するからです そのため 終わりのない循環となります 何かを理解したと思ったら 未知のものが 関与してきます だから ビッグデータに頼るだけでは 何かを見落とす可能性が高まる一方で 全てが分かっているかのような 幻想が生まれるのです

このパラドックスに気付き 理解することが 非常に困難なのは 私が 「定量化バイアス」と呼ぶ 状況があるからです それは 測定可能なものを 測定不可能なものよりも重視するという 無意識の信念です そして これは 私たちの仕事において ありがちな経験です 多分 私たちは このような同僚の傍で働いているか 会社全体がこのような状態 なのかもしれません そこでは人が数字に固執していて 目の前に証拠を突きつけられても それ以外のものを見ることができないのです 定量化が とても訴えかけるメッセージなのは なぜなら そこに何ら間違いはなく 実際 とても満足のいくことだからです ごく単純なエクセルの スプレッドシートを見ても 私はとても心地よさを感じます

（笑）

ちょうどこんな感じです 「そう！数式がうまく働いたから大丈夫 全てうまくいっている」

でも問題なのは 定量化には依存性があることです そのことを忘れて その確認を常に促す 何かを備えていなければ 数値で示せないからという理由で データを棄ててしまいがちです あたかも 簡単な解決策が存在するかのような 特効薬的な思考に陥るのは 非常に簡単なことです これはどんな組織にとっても 危険な瞬間です しばしば 私たちが 予測しなければならない未来は 干し草の山の中ではなく 納屋の外で迫ってくる 竜巻そのものなのです 未知のものが見えないことほど 大きなリスクはありません 間違った結論に至りかねません 大きなものを見落とす結果になりかねません

でも この道を進まなくても良いのです 古代ギリシアの神託が 行く末を私たちに示す 秘密の鍵を握っていることが分かりました さて 最近の地質調査によると もっとも有名な巫女が神託をもたらした アポロの神殿は なんと ２つの地震断層の上に 建造されているのです そして これらの断層は地殻の下から 原油由来の蒸気を放出し 巫女は文字通り この断層の真上に座して 亀裂から放出された 大量のエチレンガスを吸い込んでいました

（笑）

実話ですよ

（笑） 実話であり このため巫女は 大声でわめきながら 幻覚を見て トランス状態になったのです 彼女は凧のように舞い上がりました

（笑）

どうしたら — このような状態にある彼女から 有益な助言を 受けることができたでしょうか？ 巫女を取り囲む人たちを見てください 人々が彼女を抱え上げています 彼女は少しふらついていますよね？ そして左手の男性が 見えますが 彼はオレンジ色の手帳を持っていますよね？ 彼らは 介添え人であり 巫女と連携して働いていました 質問者がきて 跪くと 寺院の介添え人たちが 仕事に就く時です 彼らが巫女に質問した後 彼らの感情的な状態を見て 補足的な質問をします 例えば 「なぜこの予言が知りたいのか？ あなたは何者か？ この情報で 何をするつもりか？」 などなど 介添え人たちは この答えを追加の民俗学的で 定性的な情報として加味して 巫女のつぶやきを神託として 解釈しました 巫女が単独で神託を下したのではありません 私たちのビッグデータもそうあるべきです

さて 誤解のないよう 私は ビッグデータのシステムが エチレン酔いだなどとは言いません 全てが根拠のない予想だと 言うつもりもありません その全く反対です でも私が言っているのは 神託を告げる巫女が 寺院の介添え人を必要とするのと同じく ビッグデータにも 介添え人が必要だということです 私が「シックデータ（濃密データ）」と呼ぶ ものを収集できる ― 民俗学者やユーザーリサーチャーのような人が 必要です これは 物語、感情、人間関係などの 人間に由来し 定量化できない 貴重なデータです 私がノキアのために収集した データの類であり ごく小さなサンプルサイズという形で 手に入るデータですが 信じられないくらい 深い意味を持っています

濃密さと示唆に富んだデータを生むのは 人間の語りを理解する経験です そしてそれこそが 現行モデルの中の 見落としを見つける助けとなります シックデータはビジネス上の問いを 人間の問いに基づいたものとなし だからこそ ビッグデータとシックデータを 統合することで 正しい全体像に近づきます ビッグデータが大規模な洞察をもたらし 機械知能を最大限活用できる一方で シックデータは ビッグデータを使えるようにした時に 失われた文脈を取り戻して 人的知能を最大限に活用するのに 役立ちます この２つを実際に統合すると 本当に面白くなります なぜなら 単に自分の収集した データを扱う以上のことが できるからです 未収集のデータを扱うことも できるようになるのです なぜこんなことが起こるのかと 原因を問えるようになります

さて Netflixはこれを実現し ビジネスを変容させる 全く新しい道を開拓しました Netflixは 非常に優れた 推薦アルゴリズムで知られていて そのアルゴリズムを改良した者に 百万ドルの賞金を出しました 賞金を獲得した人もいました でも Netflixは 全ての改良は 漸増の過程であると気づきました そこで 何が起こっているかを見極めるため Netflixは 民俗学者の グラント・マクラッケンを雇って シックデータによる洞察を まとめさせました 彼が見つけたものは 最初は定量的なデータの中には 見えていなかったものでした 彼は 一気（イッキ）見が好まれること を発見したのです 実際 何ら罪悪感を感じることもなく 楽しまれていました

（笑）

Netflixは「おや これは新しい洞察だ」 みたいな感じでした そこで データサイエンスの部署を使って このシックデータの洞察を スケールアップさせ 定量的なデータと突き合わせました 彼らが一旦それをテストし効果を確かめると Netflixは とても単純ながらも インパクトのある決定をしました ある番組を色々なジャンルから 提案するのをやめる また 似たユーザーの観た別の番組を 提案するのもやめて その代わり ただ同じ番組を どんどん見せて行こうというのです 「一気見」をしやすくしようと 言ったのです そこで 更に 視聴経験全体をデザインし直すため あらゆる手段を尽くして 「一気見」を強く勧めたのです そのため『マスター・オブ・ゼロ』などの 見逃し配信があると 週末丸ごと 友人も人々も一斉に姿を消しました ビッグデータとシックデータを統合して Netflixは自社の業績改善をしただけでなく ユーザーのメディア消費方法をも 変貌させたのです そして今や Netflixの株価は 数年以内に倍増が予想されています

でもこれは 動画の視聴数やスマホ販売数が 増えるというだけではありません 濃いデータの洞察をアルゴリズムに組み込む ということは 人によっては 特に 社会の周縁に追いやられた者にとっては 生死を分ける結果になりかねません 国中で 警察がビッグデータを 予測による取り締まりに利用し 保釈金額や処罰勧告の設定を 既存のバイアスを増長するようなやり方で 行なっています NSAのSkynet機器の学習アルゴリズムは モバイル端末のメタデータの読み誤りから 何千人ものパキスタン市民の死を もたらした可能性があります 私たち生活全般が自動化するにつれ 自動車から健康保険や雇用まで 私たちは皆 定量化バイアスに 影響を受ける可能性が大です

さて 良い知らせは 予測をするのに エチレンガスの吸入から ずいぶん遠くまで来たことです ツールがより良くなったので より良く使いましょう ビッグデータを シックデータと統合しましょう 「オラクル」を補助する 介添え人を呼んで来ましょう 企業であれ 非利益団体であれ 行政であれ ソフトウェアであれ このシステムがどこで作動するにせよ 全てが重要です なぜなら こうすることの意味は 私たちが力を合わせて全力で より良いデータ、より良いアルゴリズム より良い計算結果、より良い意思決定を 目指すことだからです こうすることで 私たちは大切なことを 見落とさずに済むでしょう

（拍手）