AIの学習を断る合図、4社が採用へ — 自社サイトの方針は誰が決めるか

何が起きたの? — 4社が同じ合図に従う

10月30日、AnthropicのKevin Kelley氏が、インターネットの技術標準を話し合う団体(IETF)に草案を出しました。題は「機械が読める、学習についての意向の合図」です。

同じ日に、OpenAIはこの合図に従うと発表しました。対応は今後数か月のうちに進めるとしています。各社の対応時期は報道によって次のとおりです。

注意したいのは、まだ正式な標準ではない点です。草案は個人が出したもので、IETFが承認したものではありません。期限は2027年5月3日です。

robots.txtって何? — サイトの入口の貼り紙

robots.txtは1994年に始まった仕組みです。2022年9月に、IETFの標準の文書としてまとめられました。

たとえるなら、店の入口の「関係者以外立ち入り禁止」の貼り紙です。守るかどうかは訪れる側に任されます。標準の文書も、これはアクセスを許可したり拒んだりする仕組みではない、と書いています。

これまでは、会社ごとのロボットの名前を宛名にしていました。OpenAIなら学習用のGPTBot、GoogleならGoogle-Extendedです。新しい合図は「__usage_ai-training」という共通の宛名を使います。

草案の例では、次の3行で「サイト全体は学習に使わないで。報道向け資料のページだけは使ってよい」と伝えます。

User-Agent: __usage_ai-training
Disallow: /
Allow: /press-kit/

一つ落とし穴があります。すべてのロボット宛ての書き方(User-Agent: *)では、この合図を出したことになりません。宛名を明記する必要があります。

学習を断ると、AIの回答から消えるの?

消えません。学習と、回答に載ることは、別々の設定です。草案も、この合図は巡回そのものを止める指示ではない、と書いています。

OpenAIの場合、学習用のGPTBotを断ると、学習に使わない意向を示したことになります。検索用のOAI-SearchBotを断ると、ChatGPTの検索の回答に出なくなります。検索の設定の反映には約24時間かかります。

Googleの場合、Google-Extendedは、Geminiの学習に加え、回答の根拠として検索結果をその場で読み込む使い方(グラウンディング)も管理します。Google検索への掲載や順位には影響しません。Googleの担当者は、新しい合図で断ったサイトは、Google-Extendedを断ったものとして扱う予定だと話しています。

Microsoftは、共通の合図に加えて、グラウンディング用の設定を別に用意する予定です。

会社のサイト運営はどう変わるの?

限界もあります。合図に強制力はなく、守られているかを第三者が確かめる仕組みもありません。小さなAI企業やオープンソースの開発は、今回の表明に入っていません。

すでに集められたデータも消えません。今日設定しても、効くのはこれからの学習です。

SYNCONの視点 — サイトの方針は経営が決める

robots.txtは、これまで制作会社やIT担当に任されてきたファイルです。しかし中身は、ブランド・集客・知的財産にかかわる判断になりました。

AIの回答で自社の資料が紹介されれば、新しい集客の入口になります。一方で、有料の調査レポートや独自のノウハウは、学習に使われたくないはずです。新しい合図はページ単位で書き分けられるので、この線引きをそのまま反映できます。

決めておきたいのは3点です。どのページを学習に許し、どれを断るか。誰が書き、いつ見直すか。各社の対応は2027年にかけて進むので、一度決めて終わりにはなりません。そして、AI企業からデータ提供の契約の話が来たときの窓口です。草案は、個別の契約が合図より優先されうるとしています。

要点まとめ

• OpenAI・Google・Microsoft・Anthropicの4社が、AIの学習を断る共通の合図に従うと表明
• 合図はrobots.txtに「__usage_ai-training」宛てで書く。すべてのロボット宛ての書き方では伝わらない
• 草案はIETFが承認した正式な標準ではなく、各社の対応は2027年にかけて進む
• 学習を断っても、AIの回答や検索に載るかは別の設定で決まる
• 強制力はなく、すでに集められたデータは消えない
• どのページを学習に許すかは、ブランドと集客の判断。担当と見直しの時期を決めておく