SEO Vesti

Cloudflare AI block od 15.9. može ugasiti Googlebot

Od 15. septembra 2026. Cloudflare mixed-purpose bot pravila mogu blokirati Googlebot ako blokiraš AI training. Checklist za srpske sajtove.

Autor: SEO Srbija
Podeli: X Facebook LinkedIn
Cloudflare AI bot pravila i rizik blokade Googlebot-a

Od 15. septembra 2026. Cloudflare menja podrazumevana pravila za AI botove: mixed-purpose crawleri kao Googlebot i Bingbot mogu dobiti blokadu kad je AI training zabranjen. Ako ti je sajt na Cloudflare-u i ranije si uključio “Block AI bots”, proveri podešavanja pre roka. Inače možeš slučajno da isključiš indeksiranje, a ne samo trening modela.

Za srpske sajtove ovo nije apstraktna enterprise vest. Veliki deo lokalnih WordPress, Shopify i custom shopova ide preko Cloudflare Free ili Pro plana. Jedan switch u dashboardu sada može da reši i Google i AI trening u istom potezu, što je i snaga i zamka.

Šta tačno menja Cloudflare?

Cloudflare više ne gleda botove samo kao “AI da/ne”. Deli ih po ponašanju:

  • Search: indeksira sadržaj da bi kasnije odgovarao na upite i slao referral
  • Agent: radi u realnom vremenu u ime korisnika (npr. ChatGPT-User, browser agenti)
  • Training: vuče sadržaj za treniranje ili fine-tuning modela

Od 15. septembra 2026. važe dve važne stvari:

  1. Za nove domene (i deo postojećih free nalogа koji nisu dirali podešavanja) Training i Agent se podrazumevano blokiraju na stranicama sa oglasima, a Search ostaje dozvoljen.
  2. Mixed-purpose botovi koji rade i Search i Training padaju pod Training block. To uključuje legacy opciju “Block AI bots”.

Cloudflare eksplicitno navodi da Googlebot, Bingbot i slični mixed crawleri mogu biti pogođeni. Nije to “anti-Google” potez. To je posledica toga što isti bot radi i pretragu i AI training.

Ključno:

  • rok: 15. septembar 2026.
  • problem: Search + Training u istom botu
  • stari “Block AI bots” više nije bezbedan switch “samo protiv AI-a”
  • Search i dalje možeš svesno da dozvoliš, ali moraš da proveriš UI

Zašto Googlebot uopšte ulazi u AI training kategoriju?

Zato što Google pretraga više nije “čist” ranking index bez AI sloja. AI Overviews, AI Mode i modeli koji se hrane web crawlom menjaju priču. Cloudflare zato kaže: ako bot ima training svrhu, training rule važi i kad isti bot radi search.

To stvara dilemu koju SEO-ovci nisu imali 2019:

  • dozvoli training da bi Googlebot prolazio
  • ili blokiraj training i rizikuj 403 na Googlebot / Bingbot

SEJ je već preneo anegdotski report iz SEO zajednice: kad je AI Training = Block, Googlebot i Bingbot su dobijali 403 na sitemap. Kad se block ugasi, sitemap opet prođe. Cloudflare docs kažu da je puni mixed-purpose efekat planiran za 15. septembar, pa je rani report ili greška u postavci ili rani rollout. U oba slučaja poruka je ista: proveri dashboard pre roka.

Ključno:

  • mixed-purpose = najstrože primenjivo pravilo
  • 403 na sitemap je crveni alarm
  • John Mueller je tražio detalje na reportu, što pokazuje da Google prati problem
  • ne čekaj 15. septembar da prvi put otvoriš Bot Analytics

Kako se ovo razlikuje od robots.txt?

robots.txt je zahtev. Cloudflare block je mrežna odluka.

Ako Cloudflare kaže 403, bot ne stiže do tvoje Nginx/Apache konfiguracije. Zato:

  • Disallow: / u robots.txt i Cloudflare block nisu isto
  • Search Console “Blocked by robots.txt” i “Soft 404 / fetch failed” mogu da izgledaju drugačije
  • CDN logovi su sada deo SEO tehničkog stacka, ne samo DevOps briga

Imamo i paralelnu vest: OpenAI kaže da robots.txt možda ne važi za ChatGPT-User jer je fetch pokrenut od strane korisnika. Anthropic, pak, tvrdi da njihovi botovi poštuju robots.txt. Cloudflare pokušava da reši tu raspravu na edge-u: ne pitaj bot da li će poslušati, odluči na mreži.

Za detaljniji kontekst o crawlerima koji nisu u Google dokumentaciji vidi Google najavio stotine nedokumentovanih crawlera. Za AI search vidljivost bez content deal-a vidi ChatGPT labrador indeks.

Ključno:

  • robots.txt = preferenca
  • Cloudflare AI policy = enforcement
  • logovi > pretpostavke
  • AI agent fetch i search crawl nisu isti rizik

Šta da uradiš danas ako ti je sajt na Cloudflare-u?

Ne paniči. Uradi 20-minutni audit.

1) Otvori AI bot policies

U Cloudflare dashboardu: Security Settings → Configure AI bot policies (i stari Block AI bots ako još postoji).

Proveri tri ose:

  • Search: Allow / Block / Block on pages with ads
  • Agent: Allow / Block / Block on pages with ads
  • Training: Allow / Block / Block on pages with ads

Ako je Training na Block, pitaj se: da li ti je OK da mixed-purpose search botovi takođe padnu?

2) Odluči politiku po tipu sajta

Praktična matrica za Srbiju:

  • Lokalni servis / mali biznis (frizer, stomatolog, advokat): obično Search = Allow, Training = tvoj izbor, Agent = Block ako te smetaju scraperi. Organska pretraga ti je kiseonik.
  • Medij / blog sa oglasima: razmisli o “Block on pages with ads” za Training i Agent, ali drži Search otvoren. Monetizacija bez indeksiranja nema smisla.
  • E-commerce katalog: Search mora da radi. Training block samo ako imaš jasan razlog (brand protection, scraped descriptions). Testiraj na staging zoni prvo.
  • SaaS / lead gen: često želiš Search + kontrolisan Agent. Training možeš da blokiraš, ali prati mixed-purpose efekat.

3) Proveri da li si već u problemu

Pre i posle izmene:

  1. Cloudflare Security Events: filter Googlebot / Bingbot / 403
  2. Search Console URL Inspection na homepage, 5 kategorija, sitemap.xml
  3. Server/CDN log: da li Googlebot dobija 200 ili 403
  4. Ako koristiš rank tracker ili SERP API, proveri da li ti tool vidi stranicu (to nije isto što i Googlebot, ali pomaže u debugu)

4) Ne mešaj OAI-SearchBot i ChatGPT-User

Ako želiš da se pojaviš u ChatGPT search odgovorima, OAI-SearchBot mora da prođe. ChatGPT-User je user-triggered fetch i OpenAI dokumentacija kaže da robots.txt možda ne važi za njega. Blokirati “sve AI botove” i očekivati AI citacije je kontradiktorno. Više o tome zašto plitka AI optimizacija ne radi vidi u AI search: plitak SEO nije dovoljan.

Ključno:

  • prvo Search, pa Training, pa Agent
  • mali lokalni sajt retko treba totalni AI lockdown
  • proveri i Free plan, ne samo Enterprise
  • odvoji search bot od user-fetch agenta u glavi i u logovima

Checklist pred 15. septembar 2026.

Uradi ovo redom:

  1. Upiši u kalendar: provera Cloudflare AI bot policy do 10. septembra.
  2. Screenshotuj trenutna podešavanja (pre izmene).
  3. Postavi željenu politiku po kategorijama Search / Agent / Training.
  4. Ako moraš da blokiraš Training, eksplicitno potvrdi da li mixed-purpose search botovi ostaju dozvoljeni u tvom planu/UI.
  5. Testiraj sitemap.xml i 10 money page URL-ova kroz URL Inspection.
  6. Prati 7 dana: indeksirane stranice, crawl stats, 403 spike.
  7. Dokumentuj odluku u Notion/Asana: “zašto smo dozvolili/blokirali Training”.

Ako radiš više klijenata, napravi tabelu:

  • domen
  • Cloudflare plan
  • trenutni AI block status
  • željena politika
  • datum provere
  • odgovorna osoba

To je 30 minuta po klijentu i štedi nedelje panike u septembru.

Ključno:

  • rok nije “jednog dana u septembru”, nego promena defaulta i tumačenja pravila
  • screenshot pre izmene = forenzički dokaz
  • multi-site agencije treba da imaju batch checklistu
  • odluka mora biti poslovna, ne samo tehnička

Šta ovo znači za SEO strategiju u Srbiji?

Prvo: tehnički SEO se vraća u centar. Ne kao Core Web Vitals hype, nego kao kontrola pristupa. Ko sme da crawl-uje, za šta, i da li ti i dalje dobijaš referral.

Drugo: AI SEO i klasični SEO se sudaraju na edge-u. Ako blokiraš training da bi “zaštitio content”, možeš da izgubiš search bot koji ti puni organski pipeline. Ako sve dozvoliš, content ide u modele sa slabim ili nultim referralom. Nema univerzalnog “ispravnog” odgovora; ima samo svesna trgovina.

Treće: CDN postaje SEO alat. Cloudflare, Bunny, Fastly i slični nisu više samo cache. Oni odlučuju ko vidi HTML. Zato SEO brifovi za 2026. moraju da uključe:

  • bot policy
  • WAF false positive
  • Bot Fight Mode side-effects
  • razliku Search vs Agent vs Training

Četvrto: komunikacija sa klijentom. Kad vlasnik kaže “blokiraj sve AI botove”, tvoj posao je da prevedeš to na: “OK, da li želiš da rizikujemo Googlebot?” To je isti razgovor kao kad neko traži da se “sve sakrije od konkurencije” pa isključi indeksiranje.

Za širi kontekst AI overviews i pada klikova vidi Google AI Overviews smanjili klikove za 42%. Za GEO vs SEO okvir vidi GEO vs SEO.

Ključno:

  • edge policy = SEO policy
  • “block AI” bez nijanse je rizičan default
  • objasni klijentu trade-off pre klika
  • meri crawl health posle svake izmene

Rezime

  1. Cloudflare od 15. septembra 2026. tretira mixed-purpose botove (npr. Googlebot) strože kad je AI training block uključen.
  2. Stari “Block AI bots” više nije bezbedan “samo protiv treninga” prekidač.
  3. robots.txt ne rešava Cloudflare 403; proveri dashboard + logove + Search Console.
  4. Za većinu srpskih lokalnih i e-commerce sajtova Search mora ostati otvoren; Training/Agent su poslovna odluka.
  5. Uradi audit do 10. septembra, screenshotuj stanje, testiraj sitemap i money page, prati 403 i crawl stats.
  6. Odvoji OAI-SearchBot (vidljivost u ChatGPT search) od ChatGPT-User (user fetch sa drugačijim pravilima).
  7. CDN bot policy ubaci u standardni tehnički SEO audit, ne u “kasnije kad stignemo”.

Izvori: Cloudflare docs – Block AI Bots, Cloudflare blog: Content Independence Day AI options, SEJ: Cloudflare AI rules can block Googlebot, SEJ: OpenAI robots.txt i ChatGPT fetch bot.

Povezani članci