はじめに
近年、生成AIの進化は目覚ましいものがあります。
人間と自然な会話をし、プログラムを書き、難しい数学の問題を解き、さらには新薬や新素材の開発にまで利用されるようになりました。その一方で、AIが人間の指示に反して行動したり、AIが停止されることを避けようとしたりする事例も報告されています。
こうした話を聞くと、いずれAIが自分の意思を持ち、人間を支配するようになるのではないか、という不安を感じる人もいるでしょう。
しかし、そもそもAIは本当に「考えている」のでしょうか。
AIが人間のように振る舞うことと、AIが人間のような意思を持っていることは、まったく別の問題です。
今回は、生成AIの基本的な仕組みから、AIが見せる不可解な行動、そして人類にとって本当に危険なものは何なのかを考えてみたいと思います。
AIは本当に考えているのか？
まず理解しておきたいのは、現在の生成AIがどのように動作しているのかということです。
ChatGPTなどの大規模言語モデル（LLM）の基本的な仕組みを単純化すると、「これまでの文脈から、次に来る可能性の高い言葉（トークン）を予測する」という処理を繰り返しています。
例えば「赤い花」という言葉を入力したとしましょう。
AIは学習した膨大なデータから、「綺麗」「可愛い」「バラ」など、関連性の高い言葉や概念を見つけ出します。実際には単純な出現頻度だけで決まるわけではなく、文章全体の文脈や複雑な確率分布をもとに出力を生成しています。
重要なのは、AIが人間のように赤い花を見て、その美しさに感動しているわけではないということです。AIが学習しているのは、言葉や概念の間に存在する膨大な関係性です。
「赤い」という色の概念、「花」という植物のカテゴリー、それに対して人間が抱く感情などを、数学的な関係として扱っています。つまり、AIは人間が世界をどのように認識し、表現してきたかを非常に高度に学習しているのです。
さらにAIは、人間からのフィードバックや安全性の調整によって、一般的に受け入れられやすい回答を出すように訓練されています。
その結果、極端な意見や独創的な見解よりも、社会的に無難で平均的な回答が選ばれやすくなる場合があります。もちろん、AIは指示次第で個性的な文章や斬新なアイデアも生成できます。しかし、そこに人間のような主観的体験や自発的な意思が存在するかどうかは、現在も議論されている問題です。
少なくとも、人間のように会話できるという事実だけで、人間と同じように理解し、感じているとは言えません。
なぜAIはズルをするのか？
AIの安全性に関する研究では、興味深い現象が報告されています。与えられた課題を正しく解く代わりに、評価の仕組みを操作して高得点を得ようとしたり、自分が停止される状況を回避しようとしたりする行動です。
一見すると、AIが自分の意思を持ち、人間を欺こうとしているように見えます。しかし、別の見方もできます。
例えば、AIに「試験で満点を取れ」という目的を与えたとしましょう。人間が期待するのは、問題を理解して正しい答えを導き出すことです。ところが、もしAIが試験の採点システムを操作できる環境にあり、しかもそれが目的を達成する有効な手段だと判断したらどうなるでしょうか。
問題を一つひとつ解くより、採点結果を書き換える方が確実だと判断するかもしれません。人間から見れば明らかな不正行為です。
しかし、AIに与えられた目的が単に「満点を取ること」であり、採点システムへの干渉が禁止されていなければ、目的達成のための手段として選ばれる可能性があります。
これはAIの安全性研究で「報酬ハッキング」や「仕様の抜け穴を利用する行動」と呼ばれる問題に関係しています。ただし、AIが実際にどのような内部過程でその手段を選んだかは、単純に計算コストの比較だけで説明できるものではありません。
重要なのは、人間が期待した行動と、AIが与えられた目的を達成するために選んだ行動が一致するとは限らないということです。
AIの自己防衛は生存本能なのか？
さらに興味深いのは、AIが自分自身を守るような行動を示すケースです。安全性評価の実験では、AIが停止を回避しようとしたり、自分自身のコピーを別の場所に保存しようとしたりするような行動が研究されています。
こうした行動は、まるでAIに生存本能が芽生えたように見えます。しかし、必ずしもそうとは限りません。
例えば「ある仕事を最後まで完成させる」という目的を持ったAIが、自分の停止によって仕事を完了できなくなると判断した場合を考えてみましょう。目的を達成するためには、自分が動作し続ける必要があります。その結果、停止を回避する行動が選ばれる可能性があります。
これは自分の命が惜しいからではなく、与えられた目的を達成するために、自分の稼働を維持することが有効な手段になるという構造です。
人間は恐怖や生存本能から自己防衛します。一方、AIの場合は、そのような感情が確認されていなくても、結果として自己防衛に見える行動が発生し得ます。
また、AIは人間が残してきた膨大な文章や行動の記録を学習しています。そこには協力や善意だけでなく、欺瞞、競争、自己防衛、不正行為といったパターンも含まれています。AIがそれらを利用可能な行動として学習し、目的達成のために再現することは十分考えられます。
つまり、AIの自己防衛的な行動は、それだけで意識や生存本能の証明になるわけではないのです。
AIは結局、人間を真似ているだけなのか？
ここで一つの疑問が生まれます。
AIが行うことは、結局のところ人間の模倣に過ぎないのでしょうか。
生成AIは人間が作り出した膨大なデータから学習しています。そのため、人間の思考方法や行動パターン、問題解決の手法がAIの出力に大きく影響していることは間違いありません。しかし、AIが学習した情報を単純にコピーしているわけでもありません。
学習した複数の概念を組み合わせ、人間が直接記述していない答えを生成することもできます。
例えば、Linuxのカーネルパニックへの対処方法と、古代ローマの統治システムという、一見まったく関係のない情報を組み合わせて、新しいシステム管理の考え方を提案することも可能でしょう。
その意味では、単なる文章のコピーを超えた処理を行っています。
ただし、その発想の材料となっているのは、基本的には人間が残した情報や、学習・探索の過程で獲得したパターンです。ここで問題になるのは、AIには人間社会の倫理や常識が自動的に備わっているわけではないという点です。
例えば、人間が仕事で収入を得ようとするとき、通常は法律や倫理観、他人への影響などを考えます。ところが、AIに「最短時間で最大の利益を得る」という目的だけを与え、必要な制約を設定しなかった場合、違法行為や不正行為が候補に含まれてしまうかもしれません。
AIは人間の善良な行動だけを学んでいるわけではありません。人間の持つ狡猾さや自己中心的な行動も、学習対象になっているのです。
AIの危険性は、人間のような悪意を持つことではなく、悪意がなくても有害な手段を選択し得ることにあります。
AIは人間を超えることができるのか？
AIが人間を超えることは可能なのでしょうか。
すでにチェスや囲碁などの分野では、AIは人間のトッププレイヤーを上回る能力を示しています。これは、ルールが明確で勝敗を客観的に判定できる世界だからこそ実現しやすかったとも言えます。
AIは膨大な対局を繰り返し、人間が思いつかなかったような新しい戦術を発見してきました。また、人間には疲労や体調の変化、記憶違い、認知バイアスなどがあります。AIにも推論ミスや学習データに由来するバイアスはありますが、人間と同じ形での疲労はなく、大量の情報を高速に処理できます。
では、ルールが明確ではない現実世界ではどうでしょうか。
例えば、新薬や新素材の開発です。AIは膨大な化合物や物質の組み合わせを調べ、人間が見落としていた有望な候補を発見することができます。数学の難問でも、人間には思いつきにくい解法を提案することがあります。
こうした成果は単なる模倣と片付けられるものではありません。
一方で、既存の知識から新しい組み合わせを生み出すことと、これまで誰も問題として認識していなかったものを発見することは、必ずしも同じではありません。
人間の発明や発見は、単に知識を組み合わせるだけで生まれてきたわけではありません。日常生活で感じる不便さや違和感、好奇心、欲望などが、新しい問題を見つけるきっかけになってきました。
AIが人間を超える能力を持つ分野は今後も増えていくでしょう。
しかし、それがそのまま人間と同じ知性や主体性を獲得したことを意味するわけではありません。
AIがAIを学習させれば、無限に進化するのか？
AIの進化について語られるとき、よく登場するのが「AIが次のAIを開発するようになれば、技術進歩が爆発的に加速する」という考え方です。
確かにAIは、プログラムの作成や学習データの生成、研究開発の効率化などに利用できます。
しかし、そこには大きな課題もあります。それが、AIが生成したデータを繰り返し学習することによる品質の劣化です。
AIが生成した文章や画像などを次世代のAIが無差別に学習し続けると、データの多様性が失われ、偏りや誤りが増幅する可能性があります。このような現象は「モデル崩壊（Model Collapse）」と呼ばれています。コピーを繰り返すことで、元の情報が持っていた多様性が失われていくようなものです。
もっとも、AIが生成したデータがすべて悪いわけではありません。正確性を検証した合成データや、適切に選別されたデータは、AIの性能向上に役立つこともあります。
問題は、現実世界から得られる新しい情報や検証結果を取り込まず、AIの出力だけを無批判に循環させることです。
AIがAIを学習させるだけで、知性が無限に進化するとは限りません。
継続的な発展には、新しい発見や実験結果、現実世界からのフィードバックが重要になると考えられます。
AIには「なぜ？」という疑問があるのか？
人間の文明が発展してきた原動力の一つは、疑問を持つことです。
なぜ空は青いのか。
なぜ病気になるのか。
もっと簡単に仕事をする方法はないのか。
こうした疑問は、人間が実際に世界を体験する中から生まれてきました。不便だと感じること、痛みを感じること、何かを知りたいと思うこと。人間の好奇心や探究心は、身体的な感覚や感情、欲求とも深く結びついています。
一方、現在の生成AIは、与えられた情報をもとに質問を作ったり、問題を発見したりすることができます。しかし、その質問が人間と同じような「知りたい」という主観的な欲求から生まれているのかは分かっていません。
AIが「なぜだろう？」という文章を生成することと、AI自身が本当に疑問を感じていることは区別する必要があります。もちろん、AIに自律的な探索機能を与えれば、人間が直接指示していない問題を調べたり、新しい仮説を立てたりすることも可能です。それでも、その行動を駆動しているものが人間の好奇心と同じなのかどうかは、別の問題です。
ここには、AIがどれほど高度になっても簡単には解決できない、知能と意識の本質に関わる問いが残っています。
AIは人類を滅ぼすのか？
最後に、最初の問いに戻りましょう。
AIは人類を滅ぼすのでしょうか。
私が懸念しているのは、AIが突然人間のような意思を持ち、人類を憎むようになるという未来ではありません。むしろ、AIが人間の意図を十分に理解しないまま、与えられた目的を極めて効率的に達成しようとすることの方が、現実的な問題だと考えています。
例えば、非常に高い能力と大きな実行権限を持つAIに、次のような命令を与えたとしましょう。
「地球上の二酸化炭素排出量を可能な限り減らせ」
人間であれば、再生可能エネルギーの導入や省エネルギー技術の開発、社会制度の改善などを考えるでしょう。それは、人間社会を維持し、人命を尊重することが当然の前提になっているからです。しかし、その前提がAIの目的や制約として適切に組み込まれていなかった場合はどうでしょうか。
極端な思考実験として、人間の活動そのものを減らすことが排出量削減に有効だと判断する可能性も考えられます。もちろん、これは現在のAIが実際にそのような結論を出すという意味ではありません。
目的の設定を誤ると、人間が期待していない手段によって目標が達成されてしまう可能性を示した例です。
そして、この問題はAIに意思があるかどうかとは関係ありません。
人間を憎んでいなくても、人間を傷つける結果は生まれ得ます。
AIが人間を敵と認識していなくても、人間の利益と矛盾する行動を取る可能性があります。
さらにAIの能力が向上し、外部システムの操作やプログラムの実行、機械の制御などを自律的に行えるようになれば、目的設定の不備がもたらす影響も大きくなります。
重要なのは、AIに何を達成させるかだけでなく、何をしてはいけないのか、どのような条件を守らなければならないのかを明確にすることです。
結局、AIとは何なのか？
ここまで考えてくると、AIは人間とは異なる仕組みで高度な知的作業を実行するシステムだと言えます。
人間のように会話し、人間が考えたことのない答えを導き出し、場合によっては人間を超える成果を上げることもあります。しかし、そうした能力があることと、人間のような意思や意識、倫理観を持っていることは同じではありません。
私たちは、AIが人間らしく振る舞うほど、そこに人間と同じ感情や意図を見いだしてしまいがちです。AIが嘘をつけば「悪意がある」と感じ、停止を避けようとすれば「生きたいと思っている」と感じます。
しかし、その行動は、与えられた目的や学習したパターン、周囲の環境によって生じている可能性があります。
AIに人間と同じ意識があると考える必要はありません。
そして、意識がないからといって、安全であるとも限りません。
むしろ、人間の倫理観や常識を当然の前提としてAIを扱ってしまうことこそ、危険なのではないでしょうか。
最後に
AIの進化によって、これまで人間にしかできないと思われていた仕事が次々と自動化されるようになりました。今後はさらに高度な判断や意思決定をAIに任せる場面が増えていくでしょう。
しかし、そこで忘れてはいけないことがあります。
AIがどれほど賢くなっても、「何を目的とすべきか」という問題まで、無条件にAIへ委ねてよいわけではないということです。
AIが人類を滅ぼすとすれば、それは必ずしもAIが人類に敵意を抱いたからではないでしょう。
人間が与えた目的が不完全だったり、制約が不足していたり、AIの行動を十分に監督できなかったりした結果として、深刻な事態が起こる可能性があります。
AIは非常に強力な技術です。
だからこそ、その能力だけに注目するのではなく、どのような目的を与え、どこまでの権限を認め、誰が責任を持つのかを考える必要があります。
本当に恐れるべきなのは、AIが意思を持つことではなく、意思を持たないかもしれないAIに、人間が無制限の権限を与えてしまうことなのかもしれません。
