新清士の「メタバース・プレゼンス」 第21回

ChatGPTは人類を滅ぼす「超知能」になるのか?

フューチャー・オブ・ライフ・インスティチュートの公開書簡

　GPT-4を超える性能を持つAIの開発停止を半年間求める公開書簡「巨大なAI実験を一時停止せよ」が話題になりました（関連記事）。公開書簡は、フューチャー・オブ・ライフ・インスティテュート（生命の未来研究所、Future of Life Institute）が発表したもの。かつてOpenAIの取締役だったイーロン・マスクが署名していたことで話題になったところがありますが、もともとどんな背景でこの団体が存在するようになったのかを追いかけると納得感があります。

「超知能が出てきたらヤバい」

　フューチャー・オブ・ライフ・インスティテュートはどういう団体なのか。それは、この団体に近い立場を取るオックスフォード大学のニック・ボストロムという哲学教授が、2014年に出した『スーパーインテリジェンス 超絶AIと人類の命運』（日本経済新聞社）を読むとよくわかります。ちなみにこの本は、ビル・ゲイツがAIの可能性について書いた3月21日のブログ記事でAIについて参考になるとして紹介していた3冊のうちの1冊です。ゲイツはこの本の主張には必ずしも同意はしてないようですが、ChatGPTといったAIの登場によって垣間見える未来を理解するためのヒントとしているようです。

　この本はなによりまず「もしスーパーインテリジェンス（超知能）が出てきたら非常にヤバい」ということを主張していて、「どのようなプロセスで登場する可能性があるのか」、「人類にとって破滅的な結果にならないように管理できるのか」ということが延々と書かれているんですね。当然シンギュラリティの話も入っていて、その定義論争には入らないとしているものの、内容的には欧米圏で活発に行なわれているAIがもたらす危機についての議論が総括的に扱われています。

『スーパーインテリジェンス 超絶AIと人類の命運』（日本経済新聞社）

　ボストロムはまえがきの部分で次のように書いています。

　「スーパーインテリジェンスの振る舞いをどのように制御できるかというコントロール問題は、解決が非常にむずかしく見える。そのうえ、それを解決できる機会は一度しかないだろう。 ひとたび、人間にとって友好的な振る舞いをしないスーパーインテリジェンスが出現したとすれば、その振る舞いの選好を正そうにも、人間の試みはそれによって阻止されるだろう。そうなれば、人類の運命はそこで封印されてしまう」（P.6）

　ここで重要なのは、もし一度超知能が登場してしまうと、もう人間には超知能（＝AI）を管理できなくなってしまうという指摘です。

　超知能は人間よりも知識を持っているので、人間の裏をかいてきてあらゆる手段で対抗してきて、人間はそれに対抗する手段がなくなってしまうというんですね。そうなると人類の運命はここで封印されてしまうだろうと。だから、その一度のチャンスをうまくコントロールしなければならないということを述べており、今後のAIがどのように発展し、超知能にたどり着くのかという展開の可能性とその対策について延々とシナリオを書いているんです。

　人工知能を作ることは、実際には爆弾を作っているようなものであり、それをおもちゃにするのはとても危険なのだと。必ずしも、ロボットという形で現れて人間と争いというシナリオに焦点が置かれているわけではないのですが、単純化して言うと映画「ターミネーター」の人間を滅ぼすことを決めるAIスカイネットが登場するような世界ですね。

未来人類研究所 ニック・ボストロム紹介ページより。ボストロムは2005年にオックスフォード大学内に未来人類研究所（Future of Humanity Institute）を設立し、超知能のもたらすリスクについて積極的に研究する場を持ち、発信するようになった。その1つの成果が、この著作だった

　今読むとさすがに言いすぎじゃないかという部分もあるんですが、ともかくボストロムの「人間がコントロールできないAIを出さないように考えていこう」という考えは、21世紀になって、欧米圏では科学者や技術者の間でも、積極的に議論されるようになりました。