(クリス・アンダーソン) ニック・ボストロムさん あなたはこれまで私達に 様々なすごいアイデアを示してきました 20年ほど前には 我々がシミュレーションの中に 生きている可能性を示し もっと最近では 汎用人工知能が どのように酷い結果をもたらしうるか 鮮やかに描き出しています 今年は「脆弱世界仮説」なるものを 論文で発表しようとしています それを分かりやすく解説してもらおう というのが今晩の趣旨です では始めましょう いったい どんな仮説なんでしょう？

(ニック・ボストロム) 現在の人間のあり方の 構造的特徴を 考察しようというものです 壺のメタファーが お気に召したようなので それを使って説明しましょう アイデアや 方法や 存在しうる技術を表す玉が詰まった 大きな壺を思い描いてください 人類の創造性の歴史は この壺に手を入れて 玉を取り出していくことだとみなせ その結果はこれまでのところ 全体として とても有益でした たくさんの白い玉が取り出され 良い面も悪い面もある 灰色の玉もありました 黒い玉は まだ取り出されていません それを取り出した文明は必然的に滅びるような テクノロジーということです 黒い玉として どのようなものが考えられるかを 論文では探っています

(アンダーソン) 黒い玉は 文明の崩壊を必然的にもたらすものと 定義しているんですね

(ボストロム) 「半無秩序的既定条件」と 呼んでいるものを脱しない限りは そうなります

(アンダーソン) これまで我々は 幸運だっただけで その「死の玉」を そうとは知らずに 取り出していたかもしれないことを 例を使って示されていますね 引用が出ていますが これは何ですか？

(ボストロム) 根本的な発見が 何をもたらすか 予見するのは難しいことを 言っています 我々にそういう能力はないのです 玉を取り出すのは上手くても 玉を壺に戻すことは できないのです 発明はできても その逆はできません それに対する 我々の戦略といえば 壺の中に黒い玉がないことを 祈るだけです

(アンダーソン) 玉を取り出したら 元に戻すことはできず 我々はこれまで 幸運だっただけだと ― 例を使って議論しましょう いろいろな種類の危険性を 挙げておられますね

(ボストロム) 一番分かりやすいのは 大規模な破壊を容易に引き起こせる テクノロジーです 合成生物学などは そういう黒い玉の 豊かな源になるでしょうが 他にもいろいろ考えられます 地球工学とか 地球温暖化への 対抗手段になりますが あまり容易にできても困ります そのへんにいる人や そのおばあちゃんに 地球の気候を大きく変えられるように なってほしくはありません あるいは自律的暗殺ドローン ― 大量生産された蚊ほどの大きさの 殺人ロボットの群れとか ナノテクノロジーや 汎用人工知能もそうです

(アンダーソン) 核エネルギーで爆弾を 作れることが発見されたとき それが誰でも容易に 手に入るものでなかったのは 幸運だっただけという 議論をされていますね

(ボストロム) 1930年代に 核物理学の発展があったとき 頭のいい人たちは気づきました 連鎖反応を引き起こすことが可能で それは爆弾になり得ると その後研究が進められ 核爆弾を作るには 高度に濃縮したウランやプルトニウムが 必要だと分かりましたが それは入手困難なものです 超遠心分離機や 原子炉や 膨大なエネルギーが 必要になります しかし 原子の力を 容易に解き放てる方法が もしあったとしたら どうでしょう 電子レンジで 砂を焼くみたいなことで 核爆発を起こせたとしたら 物理学的にあり得ないと 今では分かっていますが そういう物理学研究をする前に どんな結果になるか どうして分かるでしょう？

(アンダーソン) 生命が進化するためには 地球が安定した環境である 必要があり 大規模な核反応が 容易に起こせたとしたら 地球は安定し得ず 我々はそもそも存在しなかったはず という議論もできるのでは？

(ボストロム) 意図的になら 簡単にできるけど 偶然には起きないようなことも 考えられます ブロックを10個積み上げるというのは 簡単にできますが 自然に積みあがった10個のブロックというのは 見つからないでしょう

(アンダーソン) これは私達の多くが すごく懸念していることで 近い将来 そういうことが 最も起きそうに思えるのが 合成生物学ですね

(ボストロム) その意味するところを 考えてみましょう 誰でも午後にちょっと 台所で作業すると 都市を壊滅させられる のだとしたら その上で我々の知る現代文明が どう生き残れるものか 想像しにくいでしょう どんな集団でも 百万人もいれば そういう破壊的な力を 理由はどうあれ 使おうとする者が いるだろうからです そういう終末論的な人が 都市を破壊することに決めたら 破壊されることになるでしょう

(アンダーソン) こちらは別種の危険性ですが これについて話しましょう

(ボストロム) 多くのものを吹き飛ばすことを 可能にする黒い玉という 分かりやすい危険性に加え 人に有害なことを行わせる まずい動機を生み出すという 危険性もあります これを 2a型と呼びましょう 大きな力を破壊に使うよう動機づけるような テクノロジーを考えてみてください 核兵器は実際 これに近かったと思います 人類は10兆ドルかけて ７万発の核弾頭を作り いつでも撃てる 状態にしました 冷戦中に互いを 吹き飛ばしそうになったことが 何度かありました 10兆ドルかけて 自らを吹き飛ばすのが いい考えだと みんな思ったわけではありません そうなった動機というのは ― もっと酷いことにも なり得ました 安全に先制攻撃することが 可能だったとしてみましょう 危機的な状況になったとき 核ミサイルの発射を抑えるのは 難しかったかもしれません 相手がそうする 恐れがあるからです

(アンダーソン) 双方とも壊滅するのが 確かだったからこそ 冷戦は比較的安定していたのであって そうでなければ我々はここに いなかったかもしれないと

(ボストロム) もっと不安定だった かもしれません テクノロジーには 別の特質もあります もし兵器が核ほど 破壊的なものでなかったら 軍縮協定を結ぶのは 難しかったかもしれません

(アンダーソン) 強大な勢力が まずい動機を持つこと同様に みんながまずい動機を持つことも 懸念されてますね　それがこの2b型です

(ボストロム) 地球温暖化の場合を 考えてみましょう 私達がする ちょっとした利便で 個々の影響は小さいものが たくさんあります でもそれを何十億という人がやると 全体として大きな害を生じてしまう 地球温暖化はもっと酷いものでも あり得ました 気候感度パラメータというのがあります 温室効果ガスをこれだけ出すと 温度がどれくらい上がるかを示す パラメータです 我々が排出している 温室効果ガスによって起きる 2100年の気温上昇が 3～4.5度というのではなく 15～20度だったとしたら 非常にまずい状況でしょう あるいは再生可能エネルギーの実現が ずっと難しかったとしたら あるいは化石燃料がずっと豊富に 存在していたとしたら

(アンダーソン) このままいくと 近い将来に10度上がるのだとしたら 人類は重い腰を上げて 何かするのでは？ 我々は愚かですが そこまで愚かではありません いや愚かなのかも

(ボストロム) 私はそれに 賭けようとは思いません

(笑)

いろいろなことが 考えられます 今は再生可能エネルギーに切り替えるのは ちょっと大変ですが 可能なことです でも物理的なことが 何か違って そういうものがずっと 高くついたかもしれない

(アンダーソン) どう考えておられますか？ そういった可能性を 考え合わせると 世界は危険だと 言えるのでしょうか？ 人類の未来には 死の玉があるのでしょうか？

(ボストロム) 難しいですが 壺の中には いろんな黒い玉が 入っていそうに思えます また黒い玉から守ってくれる 金色の玉もあるかもしれません どちらが先に出てくるか 分かりませんが

(アンダーソン) この考えに対する 哲学的な批判は 未来が決まっているかのようだ ということでしょう その玉があるかないかしかない 未来がそんなものだとは 思いたくありません 未来というのは 決まっておらず 我々が今行う決定によって どんな玉を取り出すことになるか 決まるのだと思いたいです

(ボストロム) 発明を続けていけば やがてすべての玉を 取り出す出すことになるでしょう もっともだと思える 弱い形の技術的決定論があり たとえば石斧とジェット機を使っている 文明というのは考えにくいです テクノロジーは一組のアフォーダンスとして 考えることができます テクノロジーは 我々に様々なことができるようにし 世界にいろいろな効果を もたらします それをどう使うかは 人間が選択することですが これら３種の危険性を 考えるとき 我々がそれをどう使うかについて 確度の高い想定ができます １型の危険性は 大きな破壊力ですが 何百万人もいれば 破壊的な仕方で それを使う者が出てくるというのは きわめてありそうなことです

(アンダーソン) 私にとって 最も気がかりな議論は 壺の中を覗いてみる限り 破滅はどうも起こりそうということです 力が加速的に 増大していくと思うなら ― テクノロジーは本質的に 加速するものですが 我々をより強力にしてくれる 道具を作り続けると どこかの時点で１人の人間が 全滅を引き起こせるようになり 災難は避けがたいと 不安になる話ですよね？

(ボストロム) まあ確かに

(笑)

我々はもっと力を手にし その力を使うのは より簡単になるでしょうが そういう力を人々がどう使うかを コントロールするような技術だって 作れるでしょう

(アンダーソン) それについて話しましょう 合成生物学だけでなく サイバー戦争 人工知能など 今やあらゆる可能性があり 未来には破滅が 待っているように見える それに対してどうすべきか？ あなたは４種の対応について 議論されてますね

(ボストロム) 技術開発全般を まったく止めてしまうような制限というのは 有望とは思えません 不可能か 可能だとしても 望ましくないでしょう ごく限られた領域について 技術の進歩を遅らせるというのであれば ありだと思います 生物兵器や 核兵器を容易に作れるようにする 同位体分離技術などは あまり進歩してほしくないでしょう

(アンダーソン) 私も前は そう考えていましたが 少し反対の立場を 取ってみましょう この20年くらいの歴史を見れば 常に全速力で前進していて それが唯一の選択肢でした グローバリゼーションの 急速な展開を見るなら 「壊しながら速く進む」戦略や それで何が起きたかを見るなら 合成生物学の 可能性を考えるなら 家庭や学校どこにでも DNAプリンターがあるような世界へと 何の制限もなく急速に 進んで行くべきなのか疑問です 制限があるべきでしょう

(ボストロム) 第一に可能でないこと 開発を止めるのが 望ましいと思ったとしても 可能なのかという 問題があります 一個の国がやったところで ―

(アンダーソン) 一つの国でやってもだめで 条約が必要でしょう そうやって核の危機を乗り越えました 苦痛な交渉を通じてです 世界の優先事項として 合成生物学研究について 厳格なルールづくりをするための交渉を 始めるべきではないでしょうか 誰でもできるように したくはありません

(ボストロム) そう思います たとえばDNA合成装置は それぞれ実験室で 所有するのでなく サービスとして 提供されるものにするとか 世界に４、５か所 設備があって 設計図を送ると DNAが返ってくるというような 制限が必要と思えるときには 一定の経路を押さえれば済みます コントロールするための 手段ができます

(アンダーソン) 単に押し留めようとしても 上手くいかないと お考えですね 北朝鮮のような どこかの誰かが そこへ行って その知識を手にしたとしたら

(ボストロム) 現状では 考えられることです 合成生物学だけでなく どんなものであれ 根本的に世界を変えるものは 黒い玉になりえます

(アンダーソン) 別の対応法を 見てみましょう

(ボストロム) これも限定的ではありますが １型の危険性に対しては そういった技術を扱える人について 世界を破壊したいと思うような者の数を 減らすのが望ましいでしょう

(アンダーソン) この絵は 顔認識機能を持つドローンが 世界を飛び回っている図で 誰か反社会的性向のある人を 見つけると 愛を降り注いで治してしまうと

(ボストロム) 妙な取り合わせですが そういう人間をなくすには 投獄や殺害だけでなく 世界の見方を変えるよう説得する という手もあり得ます それがうまくいけば そういう人の数を 半分に減らせるかもしれません 説得という手段を取るなら 人を説得しようとする 様々な強い勢力と 張り合うことになります 政党とか 宗教とか 教育システムとか ただ人数を半分にできたとしても リスクは半分にはならず 5%か10%減るくらいでしょう

(アンダーソン) 第２の対応法に 人類の未来を賭けるのは勧めはしないと

(ボストロム) 説得し思いとどまらせるのは いいと思いますが それを唯一の安全策として 依存すべきではないでしょう

(アンダーソン) ３番目は何でしょう？

(ボストロム) 様々な ありうる危険性に対して 世界の安定を実現するのに使える 一般的な方法が２つあると思います そして その両方が 必要になるでしょう １つは非常に効果の高い 予防的警察機能です 妨害のような 誰かが危険なことを始めたら リアルタイムで 妨害し阻止するとか そのためには誰もが常に 見張られているような 偏在的監視が 必要になるでしょう

(アンダーソン) 『マイノリティ・リポート』の世界ですね

(ボストロム) 人工知能アルゴリズムや 様々な査察をする自由センターみたいなものが 用いられるかもしれません

(アンダーソン) 監視社会が あんまり好かれていないのは ご存じですよね？

(笑)

(ボストロム) 全方向カメラのついたネックレスを いつも身に着けるところを 想像してください 受け入れやすいように 「自由の証」みたいな ネーミングにするといいかもしれません

(笑)

(アンダーソン) だからびっくりする話だと 言うんですよ 皆さん

(ボストロム) これに関しては 当然議論があります 大きな問題やリスクがあります それについては また話しましょう ４番目の対応法は 別のガバナンスの穴を 埋めるということです ミクロレベルでは監視は 違法性の高いことを誰もできなくするという ガバナンスの穴を埋める手段です それに対しマクロレベル・世界レベルの ガバナンスの穴があります 最悪の世界的協力の失敗を防ぐために この能力を確保しておく必要があります 大国間の戦争 軍拡競争 共有資源が破綻する問題 2a型の危険性への対処です

(アンダーソン) グローバル・ガバナンスというのは 時代遅れの言葉に聞こえます 人類の歴史を通じて 技術の力が増大するとき 社会を再編し 力を集中させてきたという議論は おできになりますか たとえば放浪の犯罪者集団が 社会を牛耳るのに対し 国家を作り 権力や警察や軍隊をもって 「そうはさせない」と言うような １人の人間や１つの集団が 人類を払拭できるとき そういう道を取らざるを 得ないのでしょうか？

(ボストロム) 人類の歴史を通して 政治的組織の規模が 拡大してきたのは確かです かつては狩猟採集民の 集団だったのが 部族や都市国家や国家が現れ 今では国際組織があります 監視社会にもグローバル・ガバナンスにも 大きなマイナス面やリスクは 当然あります 私が言いたいのは それが黒い玉から世界が生き延びる 唯一の方法かもしれないということです

(アンダーソン) すべてを 手に入れることはできないと 認識する必要がある ということのようですね テクノロジーというのは 常に良い力で 止まることなく 可能な限り速く 進み続けるものと 私たちの多くは 思っていますが 結果に注意を払わなくてよいと 考えるのは甘く そうはいかないのだと もしそれを得ようとするなら 別の嫌なものを 受け入れざるを得ない 自分自身との 軍拡競争のようなもので 力が欲しいなら 制限したほうがよく どう制限したものか 考えなきゃいけない

(ボストロム) 魅力的な選択肢です うまくいくかもしれない 最も簡単な選択肢ですが 本質的に黒い玉を取り出す 危険性があります 少しばかりの調整をして マクロガバナンスやマイクロガバナンスの 問題を解決したなら 壺からすべての玉を 取り出して 大いに恩恵を 受けることができます

(アンダーソン) 我々がシミュレーションの中に 生きているなら どうでもよいのでは？ リブートすればいいだけなので

(笑)

(ボストロム) いやはや

(笑) そうくるとは思いませんでした

(アンダーソン) どう見ておられますか？ すべて考え合わせて 我々がもうおしまいだという見込みは？

(笑)

この質問でみんな笑ってくれるのは いいですね

(ボストロム) 個人のレベルでは 我々はどの道おしまいです いずれ年を取り衰えていきます

(笑)

ちょっと難しいのは 確率を出すためには まず誰なのかを 問う必要があることです 高齢なら自然に死ぬでしょうし 若いならまだ100年くらい あるかもしれず 誰に聞くかで確率は 変わってきます 文明の崩壊と考えられる 基準は何か？ 論文では 大災害は 必要になりませんでした 定義の問題で 10億人が死ぬとか 世界のGDPが50%下がるとか 何を閾値とするかで 確率的な見込みも 変わりますが あなたは私を怯えた楽観主義者と みなせるでしょう

(笑)

(アンダーソン) 怯えた楽観主義者のあなたは たくさんの怯えた人々を 生み出したところです

(笑)

(ボストロム) シミュレーションの中で

(アンダーソン) シミュレーションの中で ニック・ボストロムさん あなたの頭脳には感服します 我々を恐怖に陥れてくれて ありがとうございました

(拍手)