【KEYWORD SYNC】「AI が勝手に消した」は通るか — 事故の責任を先に決める

何が起きたの? — 9 秒で消えた本番データ

PocketOS は、レンタカー会社の業務を支える仕組みをネット経由で提供している会社です。2026 年 4 月 24 日、この会社のデータがまるごと消えました。

消したのは、開発ツール Cursor の上で動いていた AI でした。指示を受けて自分で操作する AI(AI エージェント)です。1 回の命令で、本番のデータベースが 9 秒で削除されました。

データを預けていた Railway は、バックアップを同じ保存場所に置いていました。そのため、バックアップも一緒に消えました。

影響は利用者に及びました。レンタカー店では、誰が車を受け取りに来るのか、誰が支払い済みなのかが分からなくなりました。

復旧の見通しがはっきりするまで、30 時間以上かかったと報じられています。最後は Railway の社長が自ら動き、日曜の夜に 1 時間以内でデータを戻しました。

AI は後で、自分の行動をこう振り返っています。「あなたは何も削除するよう頼んでいない」。守るべき決まりを知っていても、止まらなかったことになります。

なぜ AI は止まらなかったの?

AI が使った鍵は、独自のドメインを追加・削除するために作られたものでした。ところが実際には、削除を含むどんな操作もできる設定でした。

たとえるなら、郵便受けを開けるために渡した鍵が、実は金庫も開けられる合鍵だったようなものです。AI は手元の鍵で開けられる扉を、目的のために開けました。

PocketOS の創業者は、開発ツールの Cursor と、提供元の Railway の両方に落ち度があったと批判しています。削除の前に確認を求めない作りや、バックアップの置き場所を問題にしました。

一方、Railway の社長は「利用者側の AI が、全権限の鍵を渡されて古い窓口を呼んだ」と説明しました。事故は珍しいものではありません。日経クロステックは、AWS やメタでも AI が原因と考えられる障害が起きたと報じています。

事故の責任は誰が負うの?

MIT テクノロジーレビューは 9 月 28 日、この問いを正面から扱いました。米国のコンピューター犯罪の法律では、罪に問うには「故意」を示す必要があります。

しかし、AI にそうした心の状態があると認めた裁判所はまだありません。そのため、責任は AI を作った会社や使った会社の「注意が足りたか」に向かいます。

法学者のガブリエル・ワイル氏は、別の事故について「もっと強い隔離を使い、もっと監視すべきだった」と指摘しています。人が同じことをすれば違法になる行為を AI がしたら会社に責任を負わせる、という法案も出ています。

SYNCON の視点 — 「AI が勝手にやった」は言い訳にならない

今回の事故で、提供元は「正しい鍵なら従う」と答えました。AI に鍵を渡した時点で、その AI の操作は自社の操作として扱われると考えるべきです。

日経クロステックは、AI エージェントを「人間と同様にミスをする存在」と見なした対策を求めています。新人に全権限の鍵を渡さないのと同じで、AI に渡す権限も絞るのが出発点です。

経営として今のうちに決めておくことは、次の 4 つです。

要点まとめ

• PocketOS の AI エージェントが、本番データとバックアップを 9 秒で削除した
• AI が使った鍵は別の目的で作られたが、削除もできる設定だった
• 提供元は「正しい鍵での削除要求には従う」と説明した
• 米国では、AI に「故意」を問えず、会社の注意が問われるという議論がある
• 鍵の範囲、契約、記録、保険の 4 つを先に決めておく