Od 15. septembra 2026. Cloudflare menja podrazumevana pravila za AI botove: mixed-purpose crawleri kao Googlebot i Bingbot mogu dobiti blokadu kad je AI training zabranjen. Ako ti je sajt na Cloudflare-u i ranije si uključio “Block AI bots”, proveri podešavanja pre roka. Inače možeš slučajno da isključiš indeksiranje, a ne samo trening modela.

Za srpske sajtove ovo nije apstraktna enterprise vest. Veliki deo lokalnih WordPress, Shopify i custom shopova ide preko Cloudflare Free ili Pro plana. Jedan switch u dashboardu sada može da reši i Google i AI trening u istom potezu, što je i snaga i zamka.

Šta tačno menja Cloudflare?

Cloudflare više ne gleda botove samo kao “AI da/ne”. Deli ih po ponašanju:

  • Search: indeksira sadržaj da bi kasnije odgovarao na upite i slao referral
  • Agent: radi u realnom vremenu u ime korisnika (npr. ChatGPT-User, browser agenti)
  • Training: vuče sadržaj za treniranje ili fine-tuning modela

Od 15. septembra 2026. važe dve važne stvari:

  1. Za nove domene (i deo postojećih free naloga koji nisu dirali podešavanja) Training i Agent se podrazumevano blokiraju na stranicama sa oglasima, a Search ostaje dozvoljen.
  2. Mixed-purpose botovi koji rade i Search i Training padaju pod Training block. To uključuje legacy opciju “Block AI bots”.

Cloudflare eksplicitno navodi da Googlebot, Bingbot i slični mixed crawleri mogu biti pogođeni. To nije “anti-Google” potez, već posledica toga što isti bot radi i pretragu i AI training.

Ključno:

  • rok: 15. septembar 2026.
  • problem: Search + Training u istom botu
  • stari “Block AI bots” više nije bezbedan switch “samo protiv AI-a”
  • Search i dalje možeš svesno da dozvoliš, ali moraš da proveriš UI

Zašto Googlebot uopšte ulazi u AI training kategoriju?

Zato što Google pretraga više nije “čist” ranking index bez AI sloja. AI Overviews, AI Mode i modeli koji se hrane web crawlom menjaju priču. Cloudflare zato kaže: ako bot ima training svrhu, training rule važi i kad isti bot radi search.

To stvara dilemu koju SEO-ovci nisu imali 2019:

  • dozvoli training da bi Googlebot prolazio
  • ili blokiraj training i rizikuj 403 na Googlebot / Bingbot

SEJ je već preneo anegdotski report iz SEO zajednice: kad je AI Training = Block, Googlebot i Bingbot su dobijali 403 na sitemap. Kad se block ugasi, sitemap opet prođe. Cloudflare docs kažu da je puni mixed-purpose efekat planiran za 15. septembar, pa je rani report ili greška u postavci ili rani rollout. John Mueller je na reportu tražio detalje, što pokazuje da Google prati problem. U oba slučaja poruka je ista: proveri dashboard pre roka i ne čekaj 15. septembar da prvi put otvoriš Bot Analytics.

Kako se ovo razlikuje od robots.txt?

robots.txt je zahtev. Cloudflare block je mrežna odluka.

Ako Cloudflare kaže 403, bot ne stiže do tvoje Nginx/Apache konfiguracije. Zato:

  • Disallow: / u robots.txt i Cloudflare block nisu isto
  • Search Console “Blocked by robots.txt” i “Soft 404 / fetch failed” mogu da izgledaju drugačije
  • CDN logovi su sada deo SEO tehničkog stacka, ne samo DevOps briga

Imamo i paralelnu vest: OpenAI kaže da robots.txt možda ne važi za ChatGPT-User jer je fetch pokrenut od strane korisnika. Anthropic, pak, tvrdi da njihovi botovi poštuju robots.txt. Cloudflare pokušava da reši tu raspravu na edge-u: ne pitaj bot da li će poslušati, odluči na mreži.

Za detaljniji kontekst o crawlerima koji nisu u Google dokumentaciji vidi Google najavio stotine nedokumentovanih crawlera. Za AI search vidljivost bez content deal-a vidi ChatGPT labrador indeks.

Šta da uradiš danas ako ti je sajt na Cloudflare-u?

Ne paniči. Uradi 20-minutni audit.

1) Otvori AI bot policies

U Cloudflare dashboardu: Security Settings → Configure AI bot policies (i stari Block AI bots ako još postoji).

Proveri tri ose:

  • Search: Allow / Block / Block on pages with ads
  • Agent: Allow / Block / Block on pages with ads
  • Training: Allow / Block / Block on pages with ads

Ako je Training na Block, pitaj se: da li ti je OK da mixed-purpose search botovi takođe padnu?

2) Odluči politiku po tipu sajta

Praktična matrica za Srbiju:

  • Lokalni servis / mali biznis (frizer, stomatolog, advokat): obično Search = Allow, Training = tvoj izbor, Agent = Block ako te smetaju scraperi. Organska pretraga ti je kiseonik.
  • Medij / blog sa oglasima: razmisli o “Block on pages with ads” za Training i Agent, ali drži Search otvoren. Monetizacija bez indeksiranja nema smisla.
  • E-commerce katalog: Search mora da radi. Training block samo ako imaš jasan razlog (brand protection, scraped descriptions). Testiraj na staging zoni prvo.
  • SaaS / lead gen: često želiš Search + kontrolisan Agent. Training možeš da blokiraš, ali prati mixed-purpose efekat.

3) Proveri da li si već u problemu

Pre i posle izmene:

  1. Cloudflare Security Events: filter Googlebot / Bingbot / 403
  2. Search Console URL Inspection na homepage, 5 kategorija, sitemap.xml
  3. Server/CDN log: da li Googlebot dobija 200 ili 403
  4. Ako koristiš rank tracker ili SERP API, proveri da li ti tool vidi stranicu (to nije isto što i Googlebot, ali pomaže u debugu)

4) Ne mešaj OAI-SearchBot i ChatGPT-User

Ako želiš da se pojaviš u ChatGPT search odgovorima, OAI-SearchBot mora da prođe. ChatGPT-User je user-triggered fetch i OpenAI dokumentacija kaže da robots.txt možda ne važi za njega. Blokirati “sve AI botove” i očekivati AI citacije je kontradiktorno. Više o tome zašto plitka AI optimizacija ne radi vidi u AI search: plitak SEO nije dovoljan.

Ključno:

  • prvo Search, pa Training, pa Agent
  • mali lokalni sajt retko treba totalni AI lockdown
  • proveri i Free plan, ne samo Enterprise
  • odvoji search bot od user-fetch agenta u glavi i u logovima

Checklist pred 15. septembar 2026.

Uradi ovo redom:

  1. Upiši u kalendar: provera Cloudflare AI bot policy do 10. septembra.
  2. Screenshotuj trenutna podešavanja (pre izmene).
  3. Postavi željenu politiku po kategorijama Search / Agent / Training.
  4. Ako moraš da blokiraš Training, eksplicitno potvrdi da li mixed-purpose search botovi ostaju dozvoljeni u tvom planu/UI.
  5. Testiraj sitemap.xml i 10 money page URL-ova kroz URL Inspection.
  6. Prati 7 dana: indeksirane stranice, crawl stats, 403 spike.
  7. Dokumentuj odluku u Notion/Asana: “zašto smo dozvolili/blokirali Training”.

Ako radiš više klijenata, napravi tabelu:

  • domen
  • Cloudflare plan
  • trenutni AI block status
  • željena politika
  • datum provere
  • odgovorna osoba

To je 30 minuta po klijentu i štedi nedelje panike u septembru.

Šta ovo znači za SEO strategiju u Srbiji?

Prvo: tehnički SEO se vraća u centar, i to kao kontrola pristupa: ko sme da crawl-uje, za šta, i da li ti i dalje dobijaš referral.

Drugo: AI SEO i klasični SEO se sudaraju na edge-u. Ako blokiraš training da bi “zaštitio content”, možeš da izgubiš search bot koji ti puni organski pipeline. Ako sve dozvoliš, content ide u modele sa slabim ili nultim referralom. Nema univerzalnog “ispravnog” odgovora; ima samo svesna trgovina.

Treće: CDN postaje SEO alat. Cloudflare, Bunny, Fastly i slični nisu više samo cache. Oni odlučuju ko vidi HTML. Zato SEO brifovi za 2026. moraju da uključe:

  • bot policy
  • WAF false positive
  • Bot Fight Mode side-effects
  • razliku Search vs Agent vs Training

Četvrto: komunikacija sa klijentom. Kad vlasnik kaže “blokiraj sve AI botove”, tvoj posao je da prevedeš to na: “OK, da li želiš da rizikujemo Googlebot?” To je isti razgovor kao kad neko traži da se “sve sakrije od konkurencije” pa isključi indeksiranje.

Za širi kontekst AI overviews i pada klikova vidi Google AI Overviews smanjili klikove za 42%. Za GEO vs SEO okvir vidi GEO vs SEO.

Šta da uradiš do 10. septembra

  1. Proveri AI bot policies i stari “Block AI bots”: od 15. septembra 2026. mixed-purpose botovi (npr. Googlebot) padaju pod Training block.
  2. Screenshotuj trenutno stanje, testiraj sitemap i money page kroz URL Inspection i prati 403 i crawl stats.
  3. Za većinu srpskih lokalnih i e-commerce sajtova Search mora ostati otvoren, a Training i Agent su poslovna odluka.
  4. Odvoji OAI-SearchBot (vidljivost u ChatGPT search) od ChatGPT-User (user fetch sa drugačijim pravilima).
  5. CDN bot policy ubaci u standardni tehnički SEO audit.

Izvori: Cloudflare docs: Block AI Bots, Cloudflare blog: Content Independence Day AI options, SEJ: Cloudflare AI rules can block Googlebot, SEJ: OpenAI robots.txt i ChatGPT fetch bot.