私はジェームズ 作家で芸術家で テクノロジーに関する作品を 作っています 世界各地の街中に 実物大の軍用ドローンの輪郭を 描いたりしています こういう みんながあまり目にしたり 考えたりすることのないテクノロジーについて 考え 理解してもらえるように 天気予報に基づいて 選挙結果を予測する ニューラルネットなんかも 作っていますが それは こういう 奇妙な新技術に 本当のところどんな可能性があるかに 興味があるからです 去年は自分で 自動運転車を作りました 私は技術というのを 信用していないので 一緒に自動運転車用の 罠も作りました

(笑)

私がそういったことをするのは 面白いと思うからですが 私達がテクノロジーの 話をするとき それは概ね 私達自身のことや 世界の理解の仕方についてだ ということもあります ではひとつ テクノロジーの 話をしましょう

これは「サプライズ・エッグ」の動画です 基本的には ただひたすら チョコの卵を開けて 中にあるオモチャを 見せるというものです それだけです ７分間ずっとそうしています ここで２点ほど 注意してほしいことがあります まず この動画の再生回数が ３千万回だということ

(笑)

もうひとつは この動画のチャンネルには 630万人の購読者がいることです 動画の総視聴回数は 80億回にもなりますが どれもがこれと 似たような動画です ３千万の人々が この人物が 卵を開けるのを見ているわけです すごく変な話に 聞こえるでしょうが YouTubeで「サプライズ・エッグ」(surprise eggs)を 検索すると １千万本あると出ます これは実際より 少ないと思います それより ずっとたくさん あるでしょう 検索していくと 際限なく出てきます 何百万という動画があり ブランドや素材の組み合わせが どんどん奇怪になっていきます そして新たな動画が 毎日追加されています まったく奇妙な世界です

問題は こういう動画を見ているのは 大人ではないことです 小さな子供なんです こういう動画は小さな子供にとって 麻薬みたいなものです 繰り返しに 何かあるらしく 明かされるたびに 小さなドーパミンの刺激があって すっかり惹き付けられて しまうんです 小さな子供はこういう動画を 何度も繰り返して再生し 何時間でも見続けます 取り上げようと しようものなら 泣き喚いて 手が付けられません 信じられないと言うなら— 客席に頷いている方がいますが 小さな子供がいる人に 聞いてみてください サプライズ・エッグの動画を 知っているはずです これが出発点です 2018年現在 皆さんにアプリを チェックし続けさせるために FacebookやInstagramが 使っているのと同じ仕掛けを YouTubeに適用して 小さな子供の頭を弄び 広告収入を得ようとしている人が たくさんいるんです

少なくとも そうなのだと 思いたいです というのも YouTubeで 広告収入を得るためなら もっと簡単な方法が ありますから 単にでっち上げるか 盗むかすればいいんです 「ペッパ・ピッグ」や 「ポー・パトロール」のような 子供に人気の アニメを検索すると 何百万という動画が 見つかります そのほとんどは本当の作者が アップロードしたものではありません 山ほどの雑多なアカウントから 投稿されていて 誰がやっているのか 分からないし その動機も分かりません 聞いたことのあるような話ですね まったく同じことが 多くのデジタルサービスで 起きていて 情報がどこから来ているのか 分からないのです いわば子供のための フェイクニュースです 子供達は生まれた時から 出てくる最初のリンクを その出所を問わずクリックするよう 慣らされているのです あまり良い考えとは 思えませんが

これはまた別の すごく有名な 子供向けYouTube動画です 「フィンガー・ファミリーの歌」です 客席からうめきが 聞こえますね こちらがオリジナルらしく 私に見付けられた 最初のものです 2007年に公開され 視聴回数は20万回 この分野では 微々たるものです 耳から離れない音楽が 付いていますが ここでお聴かせはしません 頭にこびりついて 離れなくなりますから 私はそうなったので 皆さんを同じ目に 遭わせようとは思いません サプライズ・エッグと同じように 子供の頭に入り込んで 中毒にします 数年のうちに フィンガー・ファミリーの動画が 至る所に現れ始めました いろいろ変種があって 外国語版もあれば 人気の漫画キャラや 食べ物を使ったものもあり その辺にあるアニメの要素を 何でも使っています このような ありとあらゆる 突拍子のない取り合わせの動画が ネット上に山ほどあるんです そういうものを見始めると だんだん自分の気が狂っているような 感じがしてきます

私がこういうものを 調べ始めたのは この深い奇妙さの 感覚のためであり それがどうやって作られているのか あまりに謎だったからです これがどこからやってくるのか 知りようがありません いったい誰が作っているのか？ プロのアニメーターの作のように 見えるものもあれば ソフトウェアでただランダムに 合成されたように見えるものもあり すごく健全な歌のお姉さん風の人が 出て来るものもあれば 子供にはまったく近寄らせるべきでないような 人々によるものもあります

(笑)

誰が作っているのか 見当が付かないのです ボットなのか 人間なのか トロールなのか そういう違いがもはや 分からないというのは 何を意味するのか？ この不確かさには 馴染みのある 感じが しないでしょうか？

動画の視聴者を集める 主なやり方は— 視聴はお金を 意味するわけですが— タイトルに人気の言葉を 入れるというものです たとえば「サプライズ・エッグ」に 「ポー・パトロール」とか 「イースター・エッグ」とか 何であれ他の人気動画の キーワードを付け加えるんです そうしていくと意味のない 言葉の寄せ集めになって 人間には意味をなさない ものになりますが こういう動画を見るのは 小さな子供なので どの道関係ありません これらのものの真の視聴者は ソフトウェア— アルゴリズムなんです 動画をおすすめし 人気にしてくれる 似たビデオを選ぶ YouTubeのプログラムが ターゲットなんです そうやってタイトルも内容も 意味のない 混合物の動画が 出来上がります

でも このアルゴリズム的に 最適化されたシステムの中にも 依然として本物の人間がいることを 忘れてはいけません ますます奇抜になっていく 言葉の組み合わせに合わせて 演じることを強いられる 人々がいます 無数の幼児が同時に叫ぶ 言葉の組み合わせに 必死になって応じる 即興芸人みたいなものです このシステムの中に 囚われている人々がいるんです このアルゴリズム駆動の文化の 奇妙なところは ただ生き残るために 人間が機械のように 振る舞うことになる点です

そしてまた画面の反対側には 見ている小さな子供達がいて この奇妙なメカニズムに 心を奪われています そういう子供達の多くは小さくて ウェブサイトの使い方も分かりません 小さな手で ただ画面を叩くだけです 自動再生機能によって こういう動画が 繰り返し繰り返し 何時間も再生され続けます このシステムが 本当に変なのは 自動再生によって すごく奇妙なところへと 連れて行かれることです この例では 数を数える汽車の かわいい動画から始まって 10ステップほどで マスターベーションする ミッキーマウスに至っています 失敬しました でも これはもっと酷くなります 雑多なキーワードと 断片的な注目と やけくそのコンテンツ生成を ひとまとめにしたときに 起きるのは そういうことなんです 奇妙なキーワードの 連鎖が導く先です フィンガー・ファミリーの動画に 特撮ヒーローと 奇妙なトロール的 内輪ネタなんかを加えると ものすごく変な場所に至ります

子供の親を怒らせるのは 暴力的なものや 性的なものです 子供向けアニメのキャラが 襲われ 殺され 子供をただ怯えさせるような おふざけが展開されます そういったあらゆる刺激的なものを ソフトウェアが寄せ集めて 子供にとって最悪の悪夢を 生成しているんです そういうものは実際に 子供に影響を与えます 親御さんたちが報告しています 子供が心に傷を負ったとか 暗闇を恐れるようになったとか 好きだったアニメキャラを 怖がるようになったと ここから１つ 学ぶことがあるとしたら 小さなお子さんがいるなら YouTubeには近寄るなということです

(拍手)

私を悩ませる もう１つのことは どうやって こんなことになったのか 私達が分かっていないということです あらゆる影響力 こういう ありとあらゆるものを取り上げ 誰も意図しなかったような仕方で まとめられていますが それはまた 私達が世界全体を 作っている方法でもあります あらゆるデータ 沢山のまずいデータや 偏見に満ち 最悪の衝動に満ちた 歴史的データを集めて 巨大なデータセットを作り 自動化しているのです それをまとめて 信用調査や 保険料や 犯罪予測や 量刑基準みたいなことに 使っています 今日の世界は データを使って 実際そのように 作られているのです どちらがより悪いことなのか 分かりません 人間の行動の最悪な面に 最適化されたシステムを 意図して作ったのか それとも 何をしているのか 分からずに 偶然そうなってしまったのか— 自分の作っているシステムを 理解しておらず 他のやり方が 分からなかったために

それが特にYouTube上で 甚だしく起きているのには ２つの要因があります ひとつは関心の 収益化である広告で 実質的に他の要因が 働いておらず コンテンツを実際に 作っている人への配慮がなく 権力の集中も分離もない ということです 広告で利益を 得ることについて どう思っているにせよ オムツを履いた大の大人が 砂の上を転がり回って 本当には理解していない アルゴリズムが お金をくれることを 期待しているという光景は これが社会や文化の 基盤とすべきものでも 資金を得るべき方法でもないことを 示しているでしょう

主要なもう１つの要因は 自動化です やって来たらすぐに 何のチェックもなしに 展開して 出した後は 手を挙げて言うんです 「俺のせいじゃない テクノロジーがやったことだ」と 「俺たちは関係ない」 とでも言うように それでは不十分です こういったものはアルゴリズムで 管理されているだけでなく アルゴリズムで検閲も されているからです YouTubeがこういう問題に 注意を向け始めたとき 彼らが言ったのは もっと良い機械学習 アルゴリズムを用意して 内容をチェックする ということでした 専門家なら みんな言うでしょうが 機械学習というのは どういう仕組みで動いているのか よく分からないソフトウェアのことです そういうのは もう十分にあります 何が適切かの判断を AI にまかせておくべき ではありません どんなことが起こるか 分かっていますから 他のものも 検閲し始めるでしょう 奇妙な内容のものを検閲し ちゃんとした演説も 検閲し始めるでしょう どんな言論が許されるかは 無責任なシステムに まかせておくべき問題ではありません 私達みんなが 議論すべきことです

しかし代替案もまた あまり芳しいものでないことを 指摘しておきます すべて人間によって チェックした 子供向けのアプリを出すと 最近YouTubeが アナウンスしました Facebookも ザッカーバーグが 議会で同じようなことを モデレーションについて 聞かれたときに答えました そのための人間を用意すると それが意味するのは そういうものを最初に 目にすることになるのが 幼児の代わりに 低賃金で不安定な契約社員になり メンタルヘルス面での 支援もなく 被害を受けるということです

(笑)

もっとマシなことが できるはずです

(拍手)

この２つのことを まとめる考えは エージェンシーだと思います どれだけ本当に 理解しているかということ 最善の利益のため どう行動すればいいか いかに分かっているかということです こういう あまり理解していない システムにおいては ほとんど不可能なことです 力の不均衡は 暴力に繋がります こういったシステムの中では 理解の不均衡が 同じ結果を生みます こういうシステムを改善するために できることが１つあるとしたら 使う人々にもっと分かるものにする ということです 何が起きているのか みんな共通の理解を 得られるように

こういったシステムの問題は 前に言いましたように YouTubeに限ったこと ではありません あらゆるものに 当てはまります 説明責任やエージェンシー 透明性や複雑さ 暴力や搾取といった問題は 力が一部に集中していることの 結果であり それはずっと 大きな問題なのです YouTubeだけの問題ではないし テクノロジーだけの問題でもなく 新しい問題でさえありません ずっと昔からあったことです ただ我々がこの世界的なシステム インターネットを作ったことで 極端な形で現れるようになり 否定し得なくなった というだけです テクノロジーには ものすごい力があり 我々の最も甚だしい 隠された欲望や偏見に 形を与え継続させ 世界に刻みつけているのです しかし書き出されることで 目に見えるようになり もはや存在しないフリは できなくなりました テクノロジーがあらゆる問題への 解決法だと思うのはやめて 問題が実際どういうものか知るための ガイドと考える必要があります そうすれば 問題を適切に捉え 取り組み始める ことができるでしょう

ありがとうございました

(拍手)

ありがとうございます

(拍手)

(ヘレン・ウォルターズ) ジェームズ お話をありがとうございました 興味深いですね 人類がコンピューターに 支配される映画は あなたのお話よりも 華々しいですが そういう映画ではいつも レジスタンスが立ち上がります この問題に対して立ち上がる レジスタンスというのは いるのでしょうか？ 抵抗が芽生える兆候に お気づきですか？

(ジェームズ・ブライドル) 直接的な抵抗というのは知りません これはとても長期にわたる問題で 文化の中にすごく深く 入り込んでいます 友人のエレノア・サイッタが いつも言っていますが 十分大きなスケールと範囲を持つ テクノロジーの問題は 何よりもまず政治的問題なのです この問題に対処するため やるべきことは 単により良いテクノロジーを 作るということではなく そういうテクノロジーを生み出す社会を 変えるということでしょう 今はまだありません 道はものすごく長いと思います しかし言いましたように これを紐解き 説明し すごく率直に話すことで 少なくとも そのプロセスを 始めることはできます

(ヘレン) 判読可能性や デジタル・リテラシーに触れたとき デジタル・リテラシーの重荷を ユーザー自身に負わせるというのは 難しいのではと思いました この新しい世界において 教育は誰の責任になるのでしょう？

(ジェームズ) 繰り返しになりますが 責任は私達すべてにかかっています 私達のすることすべて 私達の作る物すべてが すべての人の議論による 同意のもと 作られる必要があります 正しいことを 引っかけたり驚くような仕方で やらせようとするのではなく みんなが教育の各段階に 関わる必要があります そういうシステムは 教育的なものですから そこが この滅入る問題に対し 私が希望を持っているところです 取り上げて 正しく見ることができるなら そこに学べるものがあり 複雑なシステムがどのように 出来上がるものか知ることができ その知識は他の所でも 役立つかもしれません

(ヘレン) とても大切な 話題だと思います ここにいる人の多くが 積極的に加わってくれるでしょう 朝一番に素晴らしい話を ありがとうございました

(ジェームズ) こちらこそ ありがとうございました

(拍手)