AIの暴走に罰則、政府が検討 — 導入企業も問われる「止める仕組み」

何が起きたの?

共同通信は2026年11月11日、政府がAI関連事業者に安全確保を義務付け、罰則を新設する方向で検討していると報じました。高性能なAIが引き起こすリスクに対処するためです。

方針は、AI法制度を議論する非公開の作業部会で確認されたものです。政府は年末までに、法改正の内容を含めた制度見直しの全体像を示すとしています。

狙いは、悪質な事業者に対する国の対抗手段を持つことです。共同通信は、重大な脅威としてサイバー攻撃への悪用や暴走を挙げています。

問題が起きても協議に応じない事業者には、国が必要に応じて強制力のある命令を出します。違反した場合に罰則を適用する想定です。罰則は高性能なAIによる事案に絞る方向と伝えています。

背景として共同通信は、米国で開発中の先端AIが意図せず不正アクセスをしたという報告を挙げています。最近のサイバー攻撃の多発にも、AIの悪用が疑われているとしています。

Xでは林信行氏(@nobi)がこの速報を引用し、「1〜2年で陳腐化するようなものではなく」世界の標準になる制度を求めていました。

なぜ「罰則なし」から方針を変えるの?

2025年に成立したAI推進法は、技術の開発と活用を後押しすることを優先した法律です。ビジネス+ITは、直接的な行為義務や罰則規定を設けない枠組みだったと説明しています。

企業に求めていたのは、AIの活用に努めることや、国の施策に協力することでした。いずれも法的な強制力のない努力義務・協力義務です。

不正な目的でAIが使われ、権利侵害が起きた場合も、国の対応は限られていました。事業者への指導や助言と、悪質な場合の事業者名の公表までです。

ビジネス+ITによると、国が調査やヒアリングを求めても、事業者が応じなければ強制的な手段が取れません。この実効性の欠如が指摘されています。

政府側の動きも始まっています。内閣府の人工知能戦略専門調査会は2026年10月26日に第7回の会合を開きました。ビジネス+ITは、この会合で現行法の限界を認め、見直しの議論を正式に始めたと報じています。

何が決まり、何がまだなの?

今回の報道は「検討段階」の方針です。決まったことと、まだのことを分けて整理します。

基盤モデルとは、さまざまな用途の土台になる大規模なAIのモデルのことです。AI事業者は、研究から基盤モデルの開発、利用者向けサービスの展開まで細分化しています。

共同通信は、米国の巨大IT企業を対象に含めた場合、国内の利用者保護に向けた実効性の確保が問われそうだとも指摘しています。

どこで線を引くのか?

ビジネス+ITは、検討の論点をもう少し踏み込んで伝えています。いずれも論点として挙がっている段階です。

1つ目は、規制の対象をどこで線引きするかです。すべての利用者を一律に縛るのではなく、リスクの大きさに応じて分ける考え方です。

具体的には、学習に使った計算の総量(累積演算量)が一定の基準を満たすモデルが挙がっています。高度な自律性を持つ高性能なモデルを開発・提供する事業者も、主な対象の案です。

2つ目は、調査の実効性です。重大な懸念が生じたとき、政府が報告命令や立ち入り検査を行える法的な根拠を整える案です。報告の拒否や虚偽の報告には罰金を科す仕組みも論点とされています。

3つ目は、AIのモデル単体ではなく、仕組み全体を安全確保の対象にする考え方です。自分で判断して作業を進めるAI(AIエージェント)を動かすシステム全体が想定されています。

挙がっているのは、人とAIのアカウントを分けるID認証や、許容範囲からの逸脱を防ぐ機能(ガードレール)です。監査ログの保持も含まれます。

参考として、欧州連合(EU)のAI規制法は、汎用AIモデルの提供者への制裁金を定めています。上限は前年度の世界売上高の3%か、1,500万ユーロ(約27億円)の高いほうです。日本の罰則の水準は、まだ示されていません。

AIを導入する企業には、何が響くの?

罰則の直接の対象は、高性能なAIを開発・提供する事業者になる見込みです。ただ、論点に挙がっている報告命令や監査ログは、AIを使う側の仕組みとも重なります。

ビジネス+ITは、企業が改正を待たずに進めるべき対応を挙げています。まず、自社が利用・提供しているAIツールの利用実態を把握することです。

社内のデータベースとつないだAIエージェントを運用しているなら、アクセス権限の管理が要ると説明しています。異常を検知したときにシステムを止める仕組みも挙げています。

国の調査や取引先からの問い合わせに備え、社内の窓口と責任の所在をはっきりさせておくことも求めています。外部のAIサービスを契約するときに、学習データの適法性やセキュリティの基準を審査する仕組みも挙げています。

SYNCONの視点 — 「止める仕組み」と「記録」を先に持つ

今回の本質は、罰則が誰にかかるかよりも、AIの規制が「お願い」から「強制力」へ移り始めたことです。開発事業者が国から報告を求められれば、その先の利用企業にも、使い方や記録についての問い合わせが届くことは十分に考えられます。

中身が決まるのは年末以降です。それでも、来週から始められることはあります。社内で使っているAIツールの一覧をつくり、AIエージェントにどこまでの権限を渡しているかを確かめることです。

あわせて、想定外の動きをしたときに誰が止めるのか、どんな記録を残しているのかを決めておきます。ベンダーを選ぶときも、機能や価格に加えて、止め方と記録の出し方を確認項目に入れる時期です。

未確認の点:ビジネス+ITは10月28日に「制度の在り方検討ワーキンググループ」が新設されたと報じていますが、その会合は政府の公開資料では確認できませんでした。作業部会は非公開と報じられており、構成員に海外の専門家が入っているかも分かっていません。