Cloudflareの新AIクローラー方針とは？9月15日が期限
この記事の要点
Cloudflareが2026年9月15日を期限に、検索用とAI学習・エージェント用のクローラー分離を求める新方針を発表しました。広告表示ページは学習系クローラーを自動遮断します。
インターネット基盤大手のCloudflareは2026年7月1日前後、AI企業に対してクローラーの用途分離を求める新方針を発表しました。検索用のクローラーと、AIの学習やエージェント動作に使うクローラーを別々に扱う仕組みを、2026年9月15日までに導入します。広告を表示しているページでは、学習用とエージェント用のクローラーが自動的に遮断される一方、検索用は引き続き許可されます。サイトの広告収益とAI経由の露出、両方に関わる変更です。
何が変わるのか クローラーを3種類に分ける
Cloudflareは今回、クローラーの用途を「検索」「エージェント」「学習」の3種類に分けて管理できる仕組みを用意しました。これまでは多くのAIクローラーが用途を明示せず、同じボットが検索結果の生成にも、モデルの学習データ収集にも使われてきました。新方針では、この3つを技術的に切り分け、サイト運営者がそれぞれ個別に許可・遮断を判断できるようにします。
新規にCloudflareを使い始めるドメインでは、広告を表示しているページに対して「学習」用と「エージェント」用のクローラーがデフォルトで遮断されます。許可されるのは「検索」用のクローラーだけです。この新しいデフォルト設定は、新規顧客だけでなく、既存顧客が新たに追加するサイト、そして無料プランを使っている既存顧客全体にも適用されます。有料プランで既に運用中のサイトが即座に強制変更されるわけではありませんが、対象範囲は広く、多くのサイト運営者が影響を受けます。
これまでAIクローラーの識別は、ボットの名前やユーザーエージェント文字列を手がかりに、サイト運営者が個別にrobots.txtへ記述する運用が中心でした。用途ごとの分類がなかったため、学習目的だけを止めたくても、検索連携まで一緒に遮断してしまう事例が少なくありませんでした。Cloudflareが用途を3種類に分けて管理する仕組みを提供することで、こうした判断の粒度が細かくなります。
いつまでに何をすればよいのか
期限は2026年9月15日です。この新しいデフォルト設定を望まないサイト運営者は、期限より前にCloudflareのセキュリティ設定からクローラーの許可範囲を変更できます。逆に言えば、何も操作しなければ、広告表示ページはAIの学習用途とエージェント用途のクローラーから自動的にアクセスを拒否される状態になります。検索エンジン経由の露出は維持しつつ、無断でのデータ収集や自動巡回だけを絞りたい運営者にとっては、追加の作業なしで目的に近い状態になる設定です。一方、生成AIの回答内で自社コンテンツが引用されることを重視する運営者は、意図せず露出機会を失う可能性があります。
なぜこの方針を打ち出したのか クロールごとの支払いから利用ごとの支払いへ
Cloudflareは今回の方針とあわせて、Ceramic.aiとYou.comという2つの企業との連携も進めています。サイト運営者がこの仕組みに参加すると、自社コンテンツがCeramicのAI検索結果に表示された場合や、You.comが有料コンテンツにアクセスした場合に対価を受け取れます。これは、Cloudflareが以前から提供してきた「クロールごとの支払い」という仕組みを、コンテンツが実際に価値を生んだ場合に対価が発生する考え方へ発展させる取り組みの一部です。単にアクセス回数に応じて課金するのではなく、AIの検索結果や回答で実際に使われた分だけ対価が発生する設計を目指しています。検索からの流入だけでなく、生成AI経由の露出でも収益化できる道筋を用意した形です。この流れは、検索の変化 SEOからLLMOへの流れと企業の対応で解説した、検索エンジン最適化から生成AI向け最適化への移行とも重なります。
現場の実務にどう効くか
自社サイトやオウンドメディアをCloudflare経由で運用している企業は、9月15日までにクローラーの設定を必ず確認してください。まず、現在契約しているプランが無料プランか、新規に追加したサイトかを確認します。これらは新しいデフォルト設定の対象になり、何もしなければ広告表示ページで学習用とエージェント用のクローラーが自動的に遮断されます。次に、自社が生成AIの検索結果や回答内での引用を重視しているかどうかを整理します。無断学習からコンテンツを守りたいだけであれば、デフォルト設定のままで目的に合います。一方、検索エンジン経由の流入に加えて、AIによる引用や紹介からの流入も伸ばしたい場合は、セキュリティ設定から検索用以外のクローラーも意図的に許可する判断が必要です。広告収益とAIからの引用機会の両方を狙うメディア運営者は、CeramicやYou.comとの連携のような有料連携の仕組みも選択肢に入れて検討する価値があります。設定変更はサイトの担当者一人で完結できる作業ですが、判断には広告営業やコンテンツ戦略の担当者も交えて、9月15日より前に方針を決めておくべきです。放置すると、意図しないままAI経由の露出が減った、あるいは増えたという事後対応になりかねません。あわせて、LLMOとは？生成AI時代のコンテンツ最適化や、AI向けコンテンツ判定の動きを扱ったGoogleのSynthID、AI判定APIを公開も参考にしながら、自社サイトのAIクローラー対応を全体設計として見直す時期に来ています。
出典
よくある質問
Cloudflareの新しいクローラー方針の期限はいつですか
2026年9月15日です。この日までにサイト運営者は検索用とAI用のクローラー設定を確認し、必要ならセキュリティ設定から変更できます。
何もしないとAIクローラーの扱いはどう変わりますか
広告を表示しているページでは、AIの学習用とエージェント用のクローラーがデフォルトで遮断されます。検索用のクローラーだけがデフォルトで許可されます。
関連記事
検索の変化 SEOからLLMOへの流れと企業の対応
生成AIが検索に組み込まれた影響でSEOの前提が変わりつつある。AIに引用されるための最適化であるLLMOと従来SEOの違いを整理し、企業が今すぐ取り組める具体的な対応策を解説する。
LLMOとは？生成AI時代のコンテンツ最適化
LLMOとはChatGPT・Perplexity・Google AIアシスタントなどの生成AIにコンテンツを引用・参照させるための最適化手法。定義・SEOとの違い・冒頭要約・構造化・FAQ・権威性の4要素を解説する。
2026年の生成AI注目トピック ビジネスパーソン必読
2026年に注目すべき生成AIの5大トピックは、AIエージェントの普及・マルチモーダルの深化・コスト低下加速・規制整備・LLMOシフトだ。各トピックがビジネスに与える影響と今すぐ準備すべきことを具体的に解説する。