Blokujete AI na webu? Můžete přijít o Googlebota

Spousta webů dnes běží na Cloudflare. Ten sedí před vaším webem jako vrátný. Zrychluje ho a chrání před útoky. Většinou ho nastavuje vývojář webu, který ale znalosti o nových AI funkcích mít nemusí. A právě tady je zakopaný pes.

Cloudflare má dnes několik přepínačů, kterými umí blokovat přístup umělé inteligence k webu. Klidně je můžete mít zapnuté, aniž byste o tom věděli. Jedna část těchto nastavení funguje pouze jako žádost. Ta druhá vám může uškodit přesně tam, kde to nečekáte.

Koho se bude změna od 15. září týkat? Všech webů připojených ke Cloudflare po tomto datu, všech již připojených webů na bezplatném tarifu a také všech již připojených webů, které mají zapnuté blokování AI botů.

Od 15. září totiž Cloudflare začne u takzvaných mixed-purpose crawlerů, mezi které řadí například Googlebot a Bingbot, uplatňovat nejpřísnější relevantní pravidlo nastavení. Pokud tedy blokujete AI trénování, může se tím současně zablokovat i Googlebot. Pojďme si to rozebrat lidskou řečí, bez technického žargonu.

AI roboti a přístup k obsahu

Když se dnes někdo zeptá ChatGPT, Perplexity nebo Googlu a dostane odpověď „z internetu“, znamená to, že nějaký robot ten web navštívil a přečetl. Těmto robotům se říká crawleři nebo boti a jejich přístup k webům je čím dál důležitější. Když váš web nepřečtou, máte mizivou šanci objevit se v odpovědích.

Model už o vaší značce něco vědět může, protože se to naučil při svém tréninku. Tenhle článek ale řeší něco jiného. Jestli se AI bot vůbec dostane na váš web, když jde pro odpověď nebo pro obsah. A právě tenhle živý přístup umí Cloudflare povolit, nebo zablokovat. Tady se to začíná zamotávat.

Žádost nevstupovat vs. zákaz vstoupit

Cloudflare umí v tomto případě dvě odlišné věci, které lidé často slévají v jednu:

1. Content Signals, aneb zdvořilá prosba „nechoďte sem“.
   Do webu, konkrétně do souboru robots.txt, je možné vkládat pravidla pro roboty (crawlery, boty). Cloudflare na to má funkci Manage robots.txt a tzv. Content Signals, které v podstatě botům říkají „prosím, nepoužívejte můj obsah k trénování AI, pro AI odpovědi, vyhledávání, či kombinaci těchto možností“. Háček je v tom, že je to jen prosba, kterou roboti nemusí poslechnout. Cloudflare to přiznává sám, content signals podle něj „vyjadřují preference, nejsou technickým opatřením proti scrapingu“ (scraping je v tomto případě zjednodušeně řečeno stahování informací z webu). „Slušný robot“ tuto prosbu možná respektuje. Ten, kvůli kterému ji ale nastavujete, ji často úplně ignoruje.
   Ukázka Content Signals v souboru robots.txt:
   Content-Signal: ai-train=no, search=yes, ai-input=no
2. Block AI bots – skutečné „zavření dveří“.
   Druhý přepínač u Cloudflare se jmenuje „Block AI bots“ a najdete jej přímo v rozhraní Cloudflare v sekci AI Crawl Control. Robota opravdu zastaví – robot přijde k webu a dostane informaci „přístup zamítnut“ (technicky většinou odpověď 403 Forbidden) a obsah vůbec neuvidí. Tohle je reálná blokace. Cloudflare robota odmítne na svojí straně, ještě než se vůbec dostane k vašemu serveru. Vzpomínáte na toho vrátného před webem? Tady to tak opravdu funguje, robota otočí už ve dveřích (na úrovni firewallu), takže obsah neuvidí a nezáleží v tomto případě na jeho dobré vůli.

Rozdíl mezi těmito funkcemi je zásadní. Je to jako cedule na dveřích a zámek. Když přepíšete ceduli na „Otevřeno“ (v robots.txt), ale dveře zůstanou zamčené (běží Block AI bots), robot se dovnitř stejně nedostane. A obráceně to platí taky.

Blokování AI jako střelba do vlastní nohy

Na obsahovém webu, který nechce, aby se jeho texty používaly k trénování AI, může blokace dávat smysl. Ale na prodejním nebo firemním webu, který chce být vidět, je to problém:

• ChatGPT, Perplexity, Claude i Google dnes berou odpovědi mimo jiné z webů. Když jim zavřete dveře, můžete mizet z míst, kde vás lidé hledají.
• A pozor na rozšířenou obavu „ať nám to neshodí Google“. Google má dva různé roboty: jeden se stará o vyhledávání a druhý jen o trénování jeho vlastní AI. Když zakážete jen toho druhého, vaše pozice v Googlu to neohrozí. Zní to jako úleva, jenže od 15. září 2026 to Cloudflare řeší jinak. A přesně v tom je ta hlavní past.

Co se mění 15. září 2026?

Zatím jsme mluvili o přepínačích Cloudflare, které si zapínáte sami a volíte si i rozsah. Jestli mají blokovat celý web, nebo jen stránky, které obsahují reklamní sdělení (Cloudflare tyto „reklamní stránky“ vyhodnocuje automaticky).

Od 15. 9. 2026 ale Cloudflare začne u nově připojených domén blokaci zapínat ve výchozím nastavení. To neblokuje celý web. Míří na roboty pro trénink AI a na takzvané AI agenty pouze na stránkách, kde jsou reklamy, a vyhledávací roboty nechá projít.

Platí tu ale důležitá výjimka. Pokud jeden robot kombinuje vyhledávání a trénování AI, použije se přísnější pravidlo.

Od 15. 9. 2026 začne Cloudflare tuhle blokaci zapínat jako výchozí nastavení. Netýká se to jen nově připojovaných domén. Podle tiskové zprávy Cloudflare se změna dotkne také stávajících zákazníků na bezplatném (Free) tarifu, kteří si do 15. září nastavení sami nezmění.

A tohle je zásadní. Pokud váš web běží na Cloudflare zdarma, změna se vás může týkat, i když jste roky nic neměnili.

Zajímavé přitom je, že vývojářská dokumentace, blog i changelog Cloudflare mluví o „nových doménách“, zatímco tisková zpráva výslovně zmiňuje také stávající Free zákazníky. Cloudflare tak ve svých materiálech popisuje rozsah změny různě. Samotné výchozí nastavení přitom neblokuje celý web, míří jen na stránky s reklamou.

Cloudflare nově rozděluje roboty do tří kategorií a weby, kterých se změna dotkne, nastaví takto:

• Search (vyhledávání) → povoleno
• Training (trénování AI) → blokováno na stránkách s reklamou
• Agent (AI agenti) → blokováno na stránkách s reklamou

Automaticky vás před tím nic neochrání. Když blokujete trénink AI, Googlebot může do blokace spadnout také. Pokud tomu chcete zabránit, musíte nastavení změnit sami.

Pokud už AI trénink na svém webu pomocí Cloudflare blokujete, do 15. září se z chystané změny odhlaste (odhlásit se jde i po tomto datu). Nebo si nastavení upravte tak, aby tyto vyhledávače zůstaly povolené.

A kdo teprve připojí nový či stávající web ke Cloudflare po 15. září, měl by si toto nastavení zkontrolovat hned při připojení. Jedna otázka ale zůstává viset ve vzduchu. Proč zrovna „stránky s reklamou“?

Proč zrovna stránky s reklamou?

Proč Cloudflare cílí zrovna na stránky s reklamou, dává smysl ve chvíli, kdy víte, co chystá. Placený přístup k informacím pro AI roboty.

Cloudflare staví systém, kde AI za přístup k obsahu zaplatí a on peníze rozdělí majitelům webů. V tomhle světle se blokace na reklamních stránkách nabízí číst spíš jako první krok k modelu „zaplať, a pustíme tě dál“. (Tahle placená funkce je zatím v testování, ale ukazuje směr.)

Jak zjistíte, co máte zapnuté?

Nejhorší na tom je, že zvenčí se to spolehlivě nepozná. Paradoxně to bývá „skryté“ i pro samotného majitele nebo provozovatele webu. Jediná jistota je podívat se přímo do nastavení Cloudflare. Nebo si nechat od web developera potvrdit, co máte zapnuté.

Co s tím (v kostce):

1. Zjistěte, jestli váš web běží přes Cloudflare a co má u AI nastavené. Neodhadujte, koukněte do nastavení nebo se zeptejte toho, kdo web spravuje.
2. Pokud prodáváte nebo chcete být vidět, AI roboty spíš pusťte. A hlavně nezapínejte blokaci „trénování“ bezhlavě – od 15. září 2026 vám to může vyhodit i Google a Bing (odblokování zase znamená, že obsah AI opravdu zpřístupníte – zvažte, co je pro váš web důležitější.)
3. Berte direktivy Content-Signal jako přání, ne jako ochranu. Skutečně, něco ubránit, se řeší jinými nástroji, viz výše.
4. Pohlídejte si datum 15. 9. 2026. Jestli váš web před tímto datem na Cloudflare blokuje (nebo bude blokovat) trénink AI, do té doby se z chystané změny odhlaste, ať vám nezablokuje i Googlebota (nastavení lze ale změnit i kdykoliv po tomto datu).

Cloudflare tu neudělal nic zlého, jen dal lidem do rukou nástroje. Problém je, že je mohou zapínat bez znalosti souvislostí. Část z nich budí dojem ochrany, kterou ve skutečnosti nedávají, a na webu, který chce být přístupný a nalezitelný roboty, dělají pravý opak toho, co je potřeba. A mnoho majitelů či správců webů ani nemusí vědět, že to mají zapnuté.

*Tento článek byl vytvořen člověkem za pomoci umělé inteligence.

Zdroje

• Cloudflare Docs – Block AI bots: https://developers.cloudflare.com/bots/additional-configurations/block-ai-bots/
• Cloudflare Docs – AI Crawl Control: https://developers.cloudflare.com/ai-crawl-control/
• Cloudflare Blog – Content Signals Policy: https://blog.cloudflare.com/content-signals-policy/
• Cloudflare Blog – Introducing pay per crawl: https://blog.cloudflare.com/introducing-pay-per-crawl/
• Cloudflare Blog – Your site, your rules (nové AI traffic options): https://blog.cloudflare.com/content-independence-day-ai-options/
• https://www.cloudflare.com/press/press-releases/2026/cloudflare-allows-the-agentic-internet-to-flourish-with-a-simple-philosophy-your-content-your-rules/
• Search Engine Roundtable – Google ke content signals: https://www.seroundtable.com/google-cloudflare-content-signals-41631.html