Ne možete da blokirate Brave crawler u robots.txt, a da ne blokirate i Google. Brave nema zaseban user agent, a njegov indeks od preko 30 milijardi stranica prodaje se AI kompanijama preko Brave Search API-ja. Za to ga je 2. novembra tužio New York Times. Tužba još nije rešena, ali pitanje se tiče svakog sajta, pa i srpskih.
Šta se tačno dogodilo?
Prema tekstu koji je objavio Search Engine Journal, New York Times tvrdi da je Brave kopirao više od 30 milijardi veb stranica “bez identifikovanja i bez ikakvog mehanizma da vlasnici sajtova blokiraju crawler”, a zatim taj sadržaj prodao AI kompanijama. Istog dana je slična tužba stigla od Daily News, Chicago Tribune i Orlando Sentinel. Brave se do objave teksta nije oglasio, pa su to za sada navodi.
Brave na svojoj strani kaže da prodaje pristup indeksu kroz Brave Search API. Na njegovoj stranici stoji da ga koriste Cohere, Mistral, Perplexity i You.com. Tužba kao kupce navodi i Anthropic i xAI, ali nijedna od tih firmi nije tužena. Za Anthropic se, kako navodi autor teksta, tužba oslanja na stariji dokaz, pa nije jasno da li je saradnja i dalje aktivna.
Jedan deo proizvoda zove se “LLM Context”. Brave ga opisuje kao isporuku izdvojenih delova stranice i metapodataka u obliku koji odgovara jezičkom modelu, bez potrebe za dodatnim skeniranjem.
Zašto robots.txt ovde nema šta da kaže?
Robots.txt radi samo kad crawler ima ime. OpenAI i Anthropic objavljuju nazive svojih botova, pa možete jednog da pustite, a drugog ne. Braveova pomoćna stranica kaže da njegov crawler “ne oglašava različit user agent”. Razlog je praktičan: neki sajtovi puštaju samo Google, pa bi bot sa Braveovim imenom bio odbijen.
Zato Brave radi po Googleovim pravilima. Šta Googlebot ne sme da čita, ne čita ni Brave. Rezultat je da dobijate oba ili nijedan.
Jedini izlaz koji Brave nudi je noindex tag. On, međutim, govori i Googleu da izbaci stranicu. Za sajt koji živi od organskog saobraćaja to nije opcija. O sličnom problemu pisali smo kod nedokumentovanih Google crawlera.
Koje kontrole imate, a koje ne?
Razlika između botova sa imenom i Brave indeksa najlakše se vidi poređenjem, prema opisima iz oba izvora.
| Šta želite | Da li robots.txt radi |
|---|---|
| Zabraniti OpenAI ili Anthropic botu pristup | Da, jer objavljuju nazive svojih botova |
| Zabraniti Googleov AI trening | Da, preko Google-Extended |
| Zabraniti Brave crawler | Samo zajedno sa Googlebotom |
| Izbaciti stranicu iz Brave indeksa | Noindex, koji važi i za Google |
Tabela govori da kontrola postoji tamo gde bot ima ime. Brave je trenutno izuzetak, a koliko dugo, zavisi i od ishoda tužbe.
Kako da proverite da li ste u Brave indeksu?
Provera traje pola minuta. Otvorite search.brave.com i ukucajte site:vasdomen.rs. Sve što se pojavi nalazi se u indeksu koji Brave prodaje.
Autor izvornog teksta napominje i da Brave prikazuje sačuvanu kopiju stranice, a ne živi sadržaj. Opis početne strane koji je isti dan promenio i dalje je bio stari. Dakle, ono što AI kompanija dobije može biti zastarelo.
Šta je sa zajedničkom kontrolom za AI trening?
Iste nedelje stigla je druga vest o robots.txt. Prema SEO Pulse pregledu, Google, Microsoft i OpenAI su 30. oktobra objavili da planiraju da poštuju zajedničku robots.txt kontrolu za AI trening. Zasniva se na Internet-Draftu koji potpisuje Kevin Kelley iz Anthropica, a koristi politiku __usage_ai-training sa Allow i Disallow pravilima.
Nijedna od tri kompanije je za sada ne podržava. Google planira da zajednički opt-out tretira kao Google-Extended opt-out kod sajtova koji Google-Extended nisu posebno definisali. Microsoft će kontrolu koristiti za trening, uvešće zasebnu preferencu na nivou stranice za AI grounding, a NoArchive i NoCache prestaju da važe kao preference za trening i grounding posle 1. marta 2027.
Ima tu i ograda. Isti izvor ističe da Googleova dokumentacija ne odvaja trening Gemini modela od grounding-a u Gemini aplikacijama, pa jedan opt-out ne pokriva sve namene.
Šta ovo menja za sajtove u Srbiji?
Ništa se ne menja preko noći. Ali tri stvari treba znati.
Prvo, robots.txt je dobar za botove sa imenom i loš za indekse koji se preprodaju. Ako ste u Googleu, verovatno ste i u Braveu. Drugo, vidljivost u AI odgovorima i kontrola nad sadržajem vuku u suprotnim smerovima. Ko želi da bude citiran, treba da bude u indeksu. Ko ne želi, sada nema čist način. O toj dilemi smo pisali i u tekstu GEO naspram SEO. Treće, pravila oko AI botova još se pišu, pa odluke zasnovane na današnjem robots.txt-u mogu zastareti.
Pre nego što menjate bilo šta, odlučite šta zapravo želite. Sajt koji prodaje usluge ili proizvode obično traži da ga AI alati pominju. Izdavač čiji je sadržaj sam proizvod može da gleda na to drugačije. Pravilo koje odgovara jednom, štetiće drugom.
Presuda u slučaju Times-a neće automatski važiti za druge sajtove. Ipak, pokazaće da li sme da se prodaje indeks napravljen bez mogućnosti da ga vlasnik sajta blokira.
Ako vas zanima koji AI botovi uopšte stižu na vaš sajt i kako se ponašaju sa JavaScript linkovima, pogledajte analizu AI crawlera. Za pitanje da li vam treba poseban fajl za AI, pročitajte llms.txt: hype ili signal.
Šta da uradite ovog meseca
- Proverite svoj domen na search.brave.com sa
site:operatorom i zabeležite koliko stranica se pojavljuje. - Otvorite robots.txt i spisak botova. Zapišite koje AI botove ste blokirali, a koje pustili, i zašto.
- Odlučite koje stranice ne smeju u AI odgovore (na primer cenovnik ili autorski tekstovi) i na njih stavite noindex samo ako ste spremni da ih izgubite i iz Googlea.
- Pratite Googleovu dokumentaciju o robots.txt-u i objave o
__usage_ai-trainingkontroli, pa robots.txt ažurirajte tek kad kompanije stvarno počnu da je poštuju.
