人工知能がこの十年が終わる前に人類を滅ぼすのかどうかという問題が、近年大きな注目を集めている。プリンストン大学の著名な計算機科学者であり、ベストセラー『AI Snake Oil』の著者でもある Sayash Kapoor と Arvind Narayanan が、この問題について見解を発表した。両氏は長年にわたり AI 分野における真偽の検証に取り組んでおり、今回の発言は Anthropic が今後十年以内に AI が全人類を殺害する確率が 10% を超えると認めた後の対応として出されたものである。
発端となったのは、かつて OpenAI と Anthropic に勤めていた AI 研究者の Joel Coxon が退職し、両社とも AI システムがこの十年が終わる前に全人類を殺害する可能性があると十分に認識していると主張したことだ。彼の投稿は閲覧回数 1 億 5,600 万回を超えた。彼は、AI を構築している人々が本十年末に人類を滅ぼす可能性があると本気で信じている、それは単なるマーケティングではないと記している。メディアでは多くの経営陣やシニア研究者が理性的に見えるよう慎重な言葉遣いをするが、プライベートでは同様に恐怖を口にしており、他のいかなる人間の営みもこのレベルの危険をもたらすものではないと語った。
AI の人類滅亡リスクに広く関心が集まる
外部の人間はこの二社を、彼を変人として一笑に付すだろうと予想していたが、現実はその正反対だった。Anthropic の AI 安全性担当責任者の Evan Hubinger は、Coxon の指摘は正しいが時間軸がやや長いとの見方を示した。Coxon のその点は正しいと認め、AI が人類を殺害しうると本気で信じているとしつつ、彼自身は今後十年以内にその確率は 10% を超えると考えていると述べた。Anthropic は最善を尽くしているが、超级智能のアラインメント問題を解決する策は今のところなく、それを解決する道筋を明確に進んでいるわけでもないとの認識も示した。
AI が実際にどのような形で人類を滅ぼすのかについては、現時点で具体的なシナリオはあまり示されておらず、議論は主に電力や上下水道といった公益インフラや、現代文明が依存するその他の重要システムに対する破壊的なサイバー攻撃能力に集中している。論争の大きな焦点は、アラインメント作業によってリスクを取り除けるかどうかだ。アラインメントとは、AI システムの目標を人間の目標と一致させることを指す。これによって、AI システムに私たちと同じものを望むようにさせることで、最終的にリスクを取り除けると考える人もいる。一方、AI システムが安全審査を通過する際に安全が整ったように振る舞い、裏では矛盾した目標を秘めている可能性があると考える人もおり、合意には至っていない。
Kapoor と Narayanan は 10% を超える人類滅亡リスクという数値そのものには直接言及せず、多層的なアプローチで AI リスクに対処すべきだと主張する長文を発表した。両氏は AI 安全性コミュニティの悲観的な見方と、サイバーセキュリティコミュニティの一部でこれが通常業務に過ぎないと軽視する姿勢とを対比させ、より均衡の取れた中間的な立場が必要だと論じている。とりわけアラインメントだけでは不十分であり、それを補完する三つの層がさらに必要だと強調した。
その三つの層とは、サンドボックス隔離や人間による監視、リアルタイムモニタリングといった「コントロール」、AI 攻撃から身を守るために AI を活用する「下流側防御」、そして攻撃が成功した場合のリカバリープランなど「レジリエンス（復元力）」である。両氏は記事の最後で、適切な緊急性を持って行動を起こせば、AI 企業により高い基準を課し、制御喪失のリスクを低減し、さらにはサイバーセキュリティにおける攻守のバランスを防御側に取り戻すことさえ可能だとの、やや楽観的な見立てを示している。