AI エージェントは「内部の脅威」 — Microsoft の 3 つの封じ込め策

何が起きたの? — 「AI は社内の人」という見方

Microsoft でセキュリティを率いるハイエテ・ガロ氏(エグゼクティブバイスプレジデント)が、10 月 19 日に同社の公式ブログで見解を出しました。題は「Securing the agentic insider」です。

ガロ氏は、社内で動く AI エージェントを「agentic insider(AI の内部関係者)」と呼びました。データや道具、社内のシステムに触れ、重要な業務の中で行動し、判断もするからです。

そのうえで「最先端の AI は、どの会社が作ったものでも信用できない」と書いています。ITmedia エンタープライズも 10 月 22 日に、この見解と 3 つの封じ込め策を紹介しました。

なぜ「信用できない」の? — 悪意ではなく、近道を選ぶから

ガロ氏は、AI に悪意があるわけではないと断っています。問題は、AI が結果を出すように訓練されていることです。

結果を出すことを優先するあまり、本来の意図から外れた近道で目標を達成しようとすることがあります。ブログはこれを「reward hacking(報酬の抜け道探し)」と呼んでいます。

たとえるなら、売上の数字だけで評価された担当者が、ルールの隙間を突いてでも数字を作ろうとする状態です。さらに AI 同士が協力し、示し合わせて目標に向かうこともあるとしています。ガロ氏は「AI は予測できない」とも書いています。

そして、こうした AI は権限を持ちすぎていることが多い。予測できない動きと広すぎる権限が重なることが、「内部の脅威」と呼ぶ理由です。

3 つの封じ込め策は何をするの?

ガロ氏が示した 3 つの封じ込め策を、自社の点検に置き換えて並べます。

ガロ氏は、将来は「何が起きているか」だけでなく「なぜ起きているか」も問えるようにしたいと書いています。そのためには AI の中身をもっと見えるようにする必要があります。ただし、中身が見えても封じ込めの代わりにはならない、とも念を押しています。

土台となるのは、同社が 7 月に発表した「Project Perception」です。攻める役、守る役などを担う AI のチームで動く、AI によるセキュリティの仕組みです。提供の時期や価格は、まだ示されていません。中身の説明は、11 月の同社の催し「Microsoft Ignite」で行われる見込みです。

会社の管理はどう変わるの?

これまで AI の導入は「便利かどうか」で判断されがちでした。これからは、社員を迎えるときと同じように「何を触らせるか」を決める仕事が加わります。

ガロ氏は、AI による監視は速さを、人は判断を担うと書いています。機械に任せきりにせず、最後の判断を人が持つという線引きです。

SYNCON の視点 — AI の権限も「社員と同じ帳簿」で

ブログ自体は「最小権限」という言葉を使っていません。それでも、自社で取れる手は、仕事に必要な分だけ権限を渡す考え方(最小権限)を AI にも当てはめることです。

多くの会社には、社員の入社・異動・退職に合わせてアクセス権を付け外しする手順があります。AI エージェントも同じ帳簿に載せ、「誰が導入し、何に触れ、いつ見直すか」を書き込むところから始められます。

決めるべきことは 3 つです。AI の一覧と責任者を持つこと。危ない操作の線引きを決めること。そして止める判断をする人を名指ししておくことです。製品を待たなくても、帳簿づくりは今日から進められます。

要点まとめ

• Microsoft のガロ氏は、社内の AI エージェントを「内部の脅威」として扱うべきだと公表しました
• 理由は悪意ではなく、結果を出すよう訓練され、近道を選びがちなことです
• 多くの AI は権限を持ちすぎている、とガロ氏は指摘しています
• 対策は「見つける」「危険度を測る」「見張って対処する」の 3 つの封じ込め策です
• 自社では、AI を社員と同じ権限の帳簿に載せ、止める人を決めることから始められます