robots.txtでAI学習を一括指定へ　Google・OpenAI・MSが対応表明

robots.txtでAI学習を一括指定へ　Google・OpenAI・MSが対応表明 ITニュース

2026年10月30日（米国時間）、Google・OpenAI・Microsoft が発表を出しました。内容は、共通の仕組みへの対応方針です。robots.txt で AI 学習の可否をまとめて伝えられます。AI 企業ごとに設定を書き分ける手間が、減るかもしれません。ただし、3社とも開始時期はこれからです。

結論から言うと、robots.txt に共通のトークン __usage_ai-training を書けば、学習に使われたくない意思を複数の事業者へ一度に示せます。ただし今すぐ効く設定ではなく、各社の対応は今後数か月から2027年にかけて順に始まります。 公式の発表は、次の3つで読めます。

robots.txt 対応の3社と開始時期

事業者 発表の要点 開始の目安
Google 共通トークンで学習を拒否し、Google-Extended を明示していなければ、Google-Extended を禁止したものとして解釈する予定 2027年に対応を目指す
OpenAI 共通シグナルの実装を目指す。既存のクローラー制御は置き換えず、引き続き尊重する 今後数か月で実装を目指す
Microsoft 学習とグラウンディングを別々に設定できる新しい公開者向け設定を導入 2027年2月1日からクロール時に適用

robots.txt の共通トークンとは何か

元になっているのは、Anthropic の Kevin Kelley 氏が2026年10月30日付で提出した文書です。名前は、Internet-Draft「Machine-Readable Training Preference Signal」です。土台は、IETF の AI Preferences（AIPREF）ワーキンググループの検討です。Google も OpenAI もこの流れに沿っています。

ここで押さえておきたいのは、このドラフトが個人の提出にとどまることです。IETF が承認した標準ではありません。なお、有効期限は2027年5月3日と記されています。

robots.txt への書き方

ドラフトは、新しい命令（ディレクティブ）や文法を足しません。代わりに、通常の User-Agent グループで、ポリシートークン __usage_ai-training を指定します。そして、パスごとに好みを書きます。ドラフトの例は次のとおりです。

User-Agent: __usage_ai-training
Disallow: /
Allow: /press-kit/

この例は、/press-kit/ 配下を除く全パスで、AI 学習に使われたくないという意思表示です。/press-kit/ 配下は、使われてもよいことになります。robots.txt の既存のパス規則や最長一致の考え方は、そのまま使われます。

守りたい注意点

ドラフトには、見落としやすい制約が書かれています。

注意点 内容
クロールの制御ではない 巡回そのものは止められない。クロールの制限は、従来どおりクローラーごとの製品トークンで行う
ワイルドカードは対象外 User-Agent: * のグループは、このトークンに一致しない
個別の合意が優先されうる 当事者間の個別合意は、この仕組みの意思表示を上書きできる

つまり、robots.txt を整えても、AI が学習に使うかを強制できるわけではありません。OpenAI もこの仕組みを自主的な取り組みだとしています。そのうえで、ほかの AI 事業者にも尊重するよう呼びかけています。

Google・OpenAI・Microsoft の対応

Google は2027年に対応を目指す

Google は、2027年に他の AI 事業者とともに、この新しい制御への対応を目指すとしています。共通トークンで学習を拒否したサイトが対象です。Google-Extended を明示していなければ、禁止したものとして扱う予定です。一方、既存の会社別のコントロール（Google-Extended など）は、引き続き機能します。

また、Google-Extended を明示的に許可しているサイトは、Gemini アプリでのグラウンディングで、回答に表示されクリックを受ける対象になる、と説明しています。

OpenAI は今後数か月で実装を目指す

OpenAI は、今後数か月でこの共通シグナルの実装を目指しています。実装の時点で、詳細を改めて公表するとのことです。一方で、新しいシグナルは、既存の robots.txt のクローラー制御に置き換わるものではありません。また、既存の制御は引き続き適用され、尊重されます。

Microsoft は学習とグラウンディングを分けて設定できる

Microsoft は、新しい公開者向けの設定を導入します。AI の学習（Training）とグラウンディング（Grounding）を、別々に設定できます。学習は robots.txt で、サイトやパス単位に設定できます。ページ単位での上書きもできます。一方、グラウンディングはページ単位の設定のみです。なお、Bing 検索結果への掲載資格は変わらない、としています。

グラウンディングの2つの設定

グラウンディングの設定には2種類あります。

設定 内容
Disallow 生成回答の参考情報としての利用を禁止する
DisallowExtended Copilot や AI Overview など、Microsoft 自身の AI 体験での利用は許可し、Web IQ や Foundry の API など第三者向けの提供は除外する

どちらを選んでも、AI 体験でのブランド露出は減ります。Microsoft は、コンテンツの露出が大きく減ると注意しています。

robots.txt での学習の設定

Microsoft の学習の設定は、robots.txt に書きます。書き方は、共通トークンと同じ User-Agent: __usage_ai-training です。IETF のドラフトに基づく共有の設定だと説明されています。グラウンディングは、robots.txt ではなく、ページ単位の別の設定です。

Microsoft の期日

期日は次のとおりです。12月15日の移行の操作の対象は、同日時点で NoArchive / NoCache を使っているサイトだけです。

日付 内容
2026年12月15日 Bing Webmaster Tools で一時的なグラウンディング設定が使える（同日時点で NoArchive / NoCache を使っているサイトのみ対象）
2027年2月1日 新しい設定がクロール時に適用され始める
2027年3月1日まで NoArchive / NoCache を使っているサイトが、これまでの制限を保ちたい場合は、ページ単位のグラウンディング設定の公開と、Bing Webmaster Tools への一時設定の記録が必要。学習の設定は robots.txt やページで公開する。ほかのサイトは移行の操作が要らず、設定がなければ既定は許可（Allow）
2027年3月1日以降 NoArchive / NoCache が、学習とグラウンディングの設定として読まれなくなる

新しい設定が検出されると、残っている NoArchive / NoCache は無視されます。

運営者がやっておきたいこと

今回の発表を踏まえた、おすすめの順番です。

やっておきたいこと 理由
今の robots.txt の内容を確認する 既存の Google-Extended などの設定は、これからも機能するため、まず現状を把握しておく
AI 学習に使われたくないパスを整理する 共通トークンを書くときは、パスごとに Disallow / Allow を決めることになる
NoArchive / NoCache を使っているサイトは、2027年の切り替えを確認する 2027年3月1日以降は、学習やグラウンディングの設定として読まれなくなる
各社の実装の公表を待つ OpenAI は実装時に詳細を公表するとしており、Google は2027年の対応を目指している段階

robots.txt は、店先に貼る「持ち帰りはご遠慮ください」の札のようなものです。ただし、札があっても、守るかどうかは相手次第です。

既存の設定との関係

ドラフトによると、User-Agent: * のグループは共通トークンに一致しません。そのため、全クローラー向けの * の設定とは別に、共通トークンのグループが必要です。なお、クロールの制限は、これまでどおり製品トークンで行います。

まとめ

  • 2026年10月30日（米国時間）に、3社が共通の仕組みへの対応方針を発表した
  • 元は Anthropic の Kevin Kelley 氏の IETF Internet-Draft。個人提出で、標準ではない
  • 共通トークンを User-Agent に指定し、Disallow / Allow をパスで書く
  • Microsoft も学習の設定に同じトークンを使う。グラウンディングはページ単位の別設定
  • クロールの制御ではなく、User-Agent: * のグループは対象外
  • 開始時期は、OpenAI が今後数か月、Google が2027年、Microsoft が2027年2月1日

2026年10月30日（米国時間）に出た、各社の発表とドラフトに基づく内容です。ほかの IT の話題は、当ブログの技術ネタカテゴリーからどうぞ。

ITもごはんも、腹八分目が長続きのコツ！

コメント