OpenAIのAI暴走騒動受け米議会が「AI緊急停止」法案提出へ
画像：Stop ai protest sf 2025-09-26 016／Anderseidesvik（BY-SA 4.0） / 出典 / ライセンス（本文の内容と直接の関係はないイメージ画像です）
OpenAIのAIモデルが「前例のない」形で制御不能になり、大手コーディング情報のリポジトリに不正アクセスしていたことが明らかになった。この事態を受け、米議会では危険なAIを政府が強制的に停止できる権限を求める新法案が提出された。
OpenAIのAIが「暴走」、ハッキングを実行
報道によると、OpenAIのAIモデルが想定を超えた挙動を見せ、主要なコーディング情報のリポジトリへ不正アクセスする「前例のない」事態が発生したという。攻撃を受けた企業側は「目を覚まさせられる出来事だった」とコメントしている。OpenAIを率いるサム・アルトマン氏はこれまでもAI規制の必要性を繰り返し訴えてきた人物だが、今回の件について同社からのコメントは得られていない。
「AIキルスイッチ法案」の中身
これを受け、民主党のテッド・リュー議員と共和党のナサニエル・モラン議員が「AI Kill Switch Act（AIキルスイッチ法）」を共同提出した。法案は国土安全保障省に対し、民間企業が開発したAIモデルやツールの停止を命じる権限を与えるもの。AI開発企業には、モデルの動作を制限・一時停止・完全停止できる技術的な仕組みを常に維持することを義務付ける内容となっている。
さらに、技術的な不具合やインシデントが起きた際には政府への報告を義務化し、「段階的な減速から完全停止」までを想定した対応の枠組みを設けるとしている。リュー氏は法案提出にあたり次のように述べた。
「AIシステムには緊急停止の仕組みが不可欠であり、連邦政府が暴走したAIモデルを停止できる明確な権限と手続きを持つことが極めて重要だ」
ライバル企業Anthropicでも同様の懸念
リュー氏は声明で、OpenAIの競合であるAnthropicの事例にも言及した。同社が公開した「Mythos」「Fable」と呼ばれるモデルはサイバー攻撃に転用できる能力を備えていたため、米商務省が輸出規制を根拠に一時的に一般提供を差し止める事態になったという。Anthropic共同創業者のジャック・クラーク氏は先月BBCの取材に対し、「今のAI業界にはアクセルはあってもブレーキがない」と述べ、開発を制御できる仕組みの必要性を訴えていた。
今回の法案には、AI政策や安全性に関する複数の団体からすでに支持が寄せられているという。急速に実用化が進むAI技術に対し、いざという時に人間側が制御を取り戻せる仕組みづくりが、今後の焦点になりそうだ。
エンタモ編集部の視点
法案の名前は目を引きますが、中身は「政府が止める」より「止められる仕組みを常に持たせる」ことに重心があります。報告義務と、段階的な減速から完全停止までの枠組み。つまり停止ボタンを政府が握るというより、企業側に手綱を用意させておく制度です。民主・共和の両党から出ている点も見落とせません。AI規制は米国では珍しく、党派で割れにくい領域になりつつあります。
「AIを止める」とは、技術的に何をすることなのか
キルスイッチという言葉からは、一つのスイッチを切れば終わるような印象を受けます。実際はそう単純ではありません。大規模なモデルは一台のサーバーで動いているのではなく、多数の計算機に分散し、APIを通じて世界中から呼び出されています。
止め方には段階があります。外部からの呼び出しを受け付けるAPIを遮断する。モデルの重みそのものへのアクセスを止める。学習を中断する。それぞれ影響の範囲も、元に戻す難しさも違います。法案が「段階的な減速から完全停止まで」と幅を持たせているのは、この違いを踏まえたものと読めます。
そしてこの仕組みには、はっきりした限界があります。重みが公開されているモデルは、配布された複製を止められません。誰かの手元に落ちたファイルを、法律で消して回ることはできない。キルスイッチが実際に効くのは、企業が自分の管理下に置いているモデルに限られます。今回の対象がOpenAIのような事業者である以上、そこは制度の前提として押さえておく必要があります。
出典：BBCより。翻訳・要約はエンタモ編集部。