robots.txtとは? — 巡回プログラムへの「お願い」の案内ファイル

どこで出てくる言葉?

ウェブサイトの担当者や制作会社とのミーティングで出てきます。最近は、自社の記事や商品情報をAIの学習に使わせるかを話す場面でも耳にします。OpenAIやGoogleは、AIの学習に使う巡回プログラムを、robots.txtで断れるようにしています。

robots.txtには何が書かれているの?

• 置き場所: サイトのいちばん上の階層に、「/robots.txt」という小文字の名前で置くと決まっています
• 相手の名前(User-agent): どの巡回プログラムに向けた指示かを書きます。巡回プログラムは、それぞれ自分の名前を名乗ります
• 許可と拒否(Allow / Disallow): どのページを読んでよいか、読まないでほしいかを書きます

この仕組みは、1994年にマーティン・コスター氏が考えたものです。長く慣習として使われてきました。2022年9月に、インターネットの技術標準を定める文書(RFC 9309)として正式にまとまりました。

似ている用語とはどう違うの?

「検索に出したくない」「見せたくない」という話では、ほかの手段と混ざりがちです。

Googleは、robots.txtはページをGoogleから外す手段ではないとしています。外したいときは、noindexかパスワードでの保護を使うよう案内しています。robots.txtで断ったページでも、ほかのサイトからリンクされていれば、検索結果に載ることがあります。

経営にとって何が変わるの?

ひとつは、AIとの付き合い方を決める窓口になることです。OpenAIは、学習用の「GPTBot」を断れば、サイトの内容をAIの学習に使わないでほしいという意思表示になるとしています。検索用の「OAI-SearchBot」を断ると、ChatGPTの検索の答えにそのサイトが出なくなります。両者は別々に決められるため、学習は断り、AIの検索には載せる選び方もできます。Googleも、Geminiの学習に使わせるかを分けて決める名前(Google-Extended)を用意しています。Google検索の掲載には影響しないとしています。

もうひとつは、守りの手段にはならないことです。見られたくない情報をrobots.txtだけで隠しているなら、パスワードでの保護などに切り替える必要があります。このワードが出たら、どの巡回プログラムを断っているか、その判断を誰がしたか、変更がいつ反映されるかを確かめます。OpenAIは、変更の反映に約24時間かかるとしています。

ひとことで言うと

robots.txtとは、巡回プログラムに読んでよい場所を伝える「お願い」の案内ファイルで、AIの学習を断るかどうかもここで示します。