AIクローラーのブロック｜広告のLPで決めること

#活用方法

2026-10-19

｜広告運用ノウハウ公開中！

生成AIがウェブを読みに来るクローラーは、用途ごとに分かれています。モデルの学習に使うもの、AI検索の結果に表示するためのもの、利用者がリンクを開いたときに取りに来るもの。これらは別の名前で動いていて、robots.txtに従うかどうかも違います。

ここを区別せずに「AIクローラーを全部止める」と設定すると、学習を止めると同時に、AI検索の結果から自社のページが消えます。

広告の遷移先として使っているLPでは、この判断がさらに分かれます。指名検索やAI検索からの流入も見込んでいるページと、広告からしか来ないページでは、止めてよい範囲が違います。

この記事では、OpenAIとMetaが公開しているクローラーの一覧をもとに、何がどの用途で動いているのか、robots.txtで止まらないものは何か、広告のLPでどう決めればよいのかを整理します。

＼LPの制作から検証まで、ひとつの画面で／

・10日間、有料プランの機能を無料でお試しいただけます
・LP制作からA/Bテスト、効果測定までワンストップ

Squad beyond を10日間無料で試す＞＞

1. AIクローラーは用途ごとに分かれている
2. まとめて止めると、AI検索の露出も消える
3. robots.txtで止まらないものがある
4. 広告のLPでは、ページの役割で決める
5. 止める範囲を決める前に確認すること
6. Squad beyondで、ページごとに役割を分ける
7. AIクローラーのブロックについてよくある質問（FAQ）
8. まとめ

1. AIクローラーは用途ごとに分かれている

はじめに前提を1つ。robots.txtとクローラーの仕様は、地域によって変わりません。 OpenAIもMetaも、クローラーの名前と挙動を地域の区別なく公開しています。日本で運用しているサイトも、そのまま同じ扱いです。

なお、Metaについては2026年10月30日の商用利用規約の改定で、広告主のサイトをAIの学習に使える条項が入りました。規約側の話はMeta商用利用規約の改定｜10月30日にLPがAI学習へで扱っています。

OpenAIは開発者向けのドキュメントで、3つのクローラーを公開しています。

クローラー	用途	robots.txt
GPTBot	生成AIの基盤モデルをより有用で安全にするために使う	従う
OAI-SearchBot	ChatGPTの検索機能で、検索結果にウェブサイトを表示するために使う	従う
ChatGPT-User	ChatGPTやCustom GPTでの利用者の操作に応じて使う	適用されない場合がある

学習（GPTBot）と検索表示（OAI-SearchBot）が別のクローラーになっているのが要点です。OpenAIのドキュメントには、OAI-SearchBotを拒否するとChatGPTの検索結果に表示されなくなると書かれています（出典：OpenAI「Bots」）。

Metaも同じように分かれています。

クローラー	用途	robots.txt
Meta-ExternalAgent	基礎AIモデルのトレーニングや製品改善のためのインデックス	従う
Meta-WebIndexer	Meta AIの検索結果の品質を改善するための巡回	従う
Meta-ExternalFetcher	利用者のリクエストで個別のリンクを取得	バイパスする可能性がある
FacebookExternalHit	共有されたコンテンツのクロール	セキュリティまたは完全性チェック時にバイパスする可能性がある

FacebookExternalHitは、FacebookやInstagramでURLが共有されたときにタイトルや画像を取得するクローラーです。これを止めると、共有時のプレビューが出なくなります（出典：Meta for Developers「Web Crawlers」）。

2. まとめて止めると、AI検索の露出も消える

用途の違いを踏まえると、「AIクローラーを全部ブロックする」という設定は、次の3つを同時に行うことになります。

モデルの学習に使われないようにする
AI検索の結果に出なくする
SNSで共有されたときのプレビューを出なくする

学習させたくないという目的だけなら、止めるのは学習用のクローラーだけで足ります。

AIの回答に自社の情報が引用されるための取り組みは、LLMO対策とは？SEOとの違いと選ばれる5つの方法で扱っています。引用されたい内容と、学習に使われたくない内容が同じページにある場合は、ページ単位で分けるしかありません。

3. robots.txtで止まらないものがある

robots.txtは、クローラー側がルールに従うことを前提にした仕組みです。公式ドキュメントの段階で、従わない可能性が明記されているものがあります。

OpenAIのChatGPT-Userについては、次のように書かれています。

原文：Because these actions are initiated by a user, robots.txt rules may not apply.
訳：これらの動作は利用者によって開始されるため、robots.txtのルールは適用されない場合があります

MetaのMeta-ExternalFetcherも、同じく利用者の操作で動くためバイパスする可能性があるとされています。「利用者が開いたから取りに来た」という形の取得は、robots.txtの対象外として扱われます。

つまり、robots.txtに書けば必ず止まるとは限りません。設定したあと、実際にどう扱われているかを確かめる必要があります。

3-1. Cloudflareはボットを「行動」で採点し始めた

ルールに従うかどうかを、宣言ではなく実際の振る舞いで見る動きも出ています。Cloudflareは認証済みボットの信頼度を行動で採点する仕組みを進めていて、見るのは2点です。robots.txtに従っているかと、サイトがHTTP 429（リクエストが多すぎる）を返したときに速度を落とすかです。一貫して速度を落とすか停止すれば信頼度が上がり、無視し続ければ下がります。

このシステムは社内で稼働中で、公開の時期は示されていません。将来的には、顧客がこの信頼度の帯域を、認証済みボットの扱いを決める閾値として使えるようになるとされています。

AI側がウェブの情報を取りに行く経路は、クロール以外にも広がっています。DeepSeekは2026年10月31日16:00 UTCから、ウェブ検索のAPIを成功した1,000回あたり0.75ドルで課金すると発表しました。robots.txtをどう扱うかは示されていません（出典：PPC Land「DeepSeek sets a $0.75 web search price as Cloudflare grades bots on conduct」、2026年10月18日）。

4. 広告のLPでは、ページの役割で決める

ここまでを踏まえると、広告運用の側では一律に決めないほうが扱いやすくなります。判断の軸は、そのページがどこから来る人のためにあるかです。

ページの役割	止める範囲の目安
広告からしか来ない（キャンペーン専用LP、期間限定のオファー）	学習用を止めても失うものが少ない
指名検索やAI検索からの流入も見込む（サービス紹介、料金、導入事例）	学習用のみ。検索表示用は止めない
SNSで共有されることがある	共有時のプレビュー用は止めない

この切り分けをせずに設定すると、次のような事故が起きます。

症状：robots.txtに全AIクローラーを拒否する記述を入れた。数週間後、ChatGPTで自社名やサービス名を聞いても自社のページが引用されなくなり、指名検索経由の問い合わせが落ちた
原因：学習用のGPTBotと、検索表示用のOAI-SearchBotは別のクローラーです。まとめて拒否すると、ChatGPTの検索結果からも外れます。AI経由の流入はクリック数として見えにくいため、減ったことに気づくのが遅れます
対策：止める対象を学習用のクローラーに絞ってください。すでに全面拒否を書いている場合は、検索表示用の記述を外します
回避策：robots.txtを変更したら、ChatGPTやGeminiで自社名とサービス名を聞いて、引用されるかを確認します。変更の日付を記録しておくと、流入の変化と突き合わせられます

5. 止める範囲を決める前に確認すること

設定を変える前に、自社のドメイン構成を確認してください。広告運用では、本体サイトとは別のドメインやサブドメインでLPを運用していることがあります。robots.txtはドメインごと（正確にはホストごと）に置くものなので、本体サイトに書いただけでは、LP側には効きません。

広告の遷移先に使っているドメインとサブドメインを一覧にする
それぞれにrobots.txtがあるか、誰が管理しているかを確認する
LPツールを使っている場合、robots.txtを編集できるかを確認する

個人情報の取り扱いそのものについては、個人情報保護法改正2026｜広告運用者が押さえるポイントを解説で扱っています。クローラーの制御とは別の論点なので、分けて確認してください。

6. Squad beyondで、ページごとに役割を分ける

止める範囲をページの役割で決めるなら、ページが役割ごとに分かれている必要があります。1つのLPに、広告からの導線とAI検索からの導線を両方持たせていると、どちらかを犠牲にする判断になります。

Squad beyondでは、同じ商材の遷移先を複製してパターンごとに配信し、ページ単位で流入とコンバージョンを比べられます。広告専用のページと、検索からも拾いたいページを分けて運用すれば、クローラーの設定もページ単位で決められます。

＼LPの制作から検証まで、ひとつの画面で／

・10日間、有料プランの機能を無料でお試しいただけます
・LP制作からA/Bテスト、効果測定までワンストップ

Squad beyond を10日間無料で試す＞＞

7. AIクローラーのブロックについてよくある質問（FAQ）

Q. AIクローラーは全部ブロックすべきですか？

用途が分かれているので、一律に止めると失うものがあります。OpenAIの場合、学習に使うGPTBotと、ChatGPTの検索結果に表示するOAI-SearchBotは別のクローラーです。公式ドキュメントには、後者を拒否すると検索結果に表示されなくなると書かれています。学習させたくないという目的なら、止めるのは学習用だけで足ります。

Q. robots.txtに書けば確実に止まりますか？

止まらない場合があります。OpenAIのChatGPT-UserとMetaのMeta-ExternalFetcherは、利用者の操作で動くためrobots.txtのルールが適用されない可能性があると公式に書かれています。robots.txtは、クローラー側が従うことを前提にした仕組みなので、書けば必ず止まるとは限りません。設定したあとに、実際にどう扱われているかを確認してください。

Q. 広告用のLPも対象になりますか？

robots.txtはホストごとに置くものなので、本体サイトに書いてもLP用の別ドメインやサブドメインには効きません。広告の遷移先に使っているドメインとサブドメインを一覧にして、それぞれにrobots.txtがあるか、誰が管理しているかを確認してください。LPツールによっては編集できないこともあります。キャンペーン専用のLPのように広告からしか来ないページなら、学習用のクローラーを止めても失うものは少なくなります。

Q. ページごとに扱いを変えられますか？

変えられます。広告からしか来ないキャンペーン専用のLPと、指名検索やAI検索からの流入も見込むページでは、止めてよい範囲が違います。ページの役割が混ざっていると判断できないので、先に役割ごとにページを分けておくのが前提です。Squad beyondで遷移先を複製して分けておけば、ページ単位で設定も成果も管理できます。

8. まとめ

AIクローラーは用途ごとに分かれています。OpenAIでは学習用のGPTBotと検索表示用のOAI-SearchBotが別で、Metaでも学習用のMeta-ExternalAgentと共有プレビュー用のFacebookExternalHitが別です。まとめてブロックすると、AI検索の露出とSNSのプレビューまで同時に失います。

robots.txtで止まらないものもあります。利用者の操作で動くクローラーは、公式ドキュメントの段階でルールが適用されない可能性があると書かれています。Cloudflareは、robots.txtに従うかとHTTP 429で速度を落とすかで、認証済みボットの信頼度を採点する仕組みを進めています。

広告運用の側では、ページの役割で決めてください。広告からしか来ないページと、検索からの流入も見込むページでは、止めてよい範囲が違います。設定を変えたら、ChatGPTなどで自社名を聞いて引用されるかを確認するところまでをセットにしてください。

＼LPの制作から検証まで、ひとつの画面で／