Cloudflare i OpenAI saopštili su da je njihov istraživački pilot pomogao otkrivanju i indeksiranju stotina miliona novih veb-stranica. Za srpske sajtove to otvara mogućnost da korisne stranice lakše budu pronađene u ChatGPT pretrazi, ali ne garantuje citate ni posete. Prvi praktičan korak je provera pristupa za OAI-SearchBot, a ne kupovina nove SEO usluge.
Rezultati su objavljeni 15. oktobra, a Search Engine Journal ih je obradio 20. oktobra. Vest o širenju izvora za pretragu treba razlikovati od dokaza da određeni sajt već dobija više kupaca. Taj drugi deo priče objavljeni podaci još ne potvrđuju.
Šta su Cloudflare i OpenAI zapravo objavili?
Prema zajedničkoj objavi Cloudflarea i OpenAI-ja, pilot je obuhvatio grupu učesnika koja predstavlja približno 1% ukupne Cloudflare mreže. Signali iz te mreže pomogli su OpenAI-ju da pronađe i indeksira stotine miliona novih stranica.
To nije podatak o procentu svih sajtova na internetu, a ni procena koliko su porasle posete učesnicima. Reč je o obimu novootkrivenih stranica u jednom istraživačkom projektu, uz brojke koje su objavile same kompanije.
Ideja je jednostavna: stranica može biti korisna i kad nema mnogo dolaznih linkova. Detaljno uputstvo za konkretan uređaj ili ažuran jelovnik lokalnog restorana može rešiti upit bolje od poznatijeg, ali opštijeg teksta.
Cloudflare pruža signale koji pomažu u otkrivanju, a OpenAI zatim samostalno procenjuje i rangira stranice. Korišćenje Cloudflarea zato ne treba predstavljati kao prečicu do preporuke u ChatGPT-u.
Zašto je ova vest važna za sajtove u Srbiji?
Mnogi domaći poslovni sajtovi imaju stranice korisnije nego što njihova vidljivost sugeriše. Servis u Nišu može imati precizno objašnjenje popravke određenog modela, a mali proizvođač specifikacije kojih nema u većim katalozima. Problem nije uvek u nedostatku sadržaja. Ponekad ga jednostavno nije dovoljno lako otkriti.
Pilot pokazuje da se traže dodatni načini pronalaženja takvih izvora, mimo oslanjanja samo na postojeće linkove. To je relevantan pravac razvoja, ali ne dokazuje da će sadržaj na srpskom automatski imati prednost. Objave ne daju posebne rezultate za Srbiju, srpski jezik ni domaće delatnosti.
Zato bih ovu vest pre iskoristio za pregled zapostavljenih servisnih i proizvodnih stranica nego za pisanje još deset opštih tekstova. Ako kupac traži uslove isporuke za određeno mesto, odgovor treba da postoji na jasnoj, dostupnoj stranici, a ne samo u poruci koju dobije posle telefonskog poziva. Korisne stranice sa malo linkova zaslužuju pregled, a dostupnost stvarnog odgovora vredi više od masovne proizvodnje tekstova.
Da li morate da dozvolite obuku modela da biste bili u pretrazi?
Ne. OpenAI dokumentacija o botovima razdvaja OAI-SearchBot, namenjen pretrazi, od GPTBota, koji prikuplja sadržaj koji može biti korišćen za obuku generativnih modela. Odluke o tim botovima mogu se donositi odvojeno.
Vlasnik sajta može dozvoliti OAI-SearchBot i blokirati GPTBot. Ako je OAI-SearchBot blokiran, OpenAI navodi da sajt neće biti prikazan u odgovorima ChatGPT pretrage, iako se može pojaviti kao navigacioni link.
Za javni sadržaj primer odvojenih pravila izgleda ovako:
User-agent: OAI-SearchBot
Allow: /
User-agent: GPTBot
Disallow: /Ovo je primer, a ne predlog da bez provere zamenite postojeći robots.txt. Zadržite odgovarajuća ograničenja za privatne, administrativne i druge nejavne putanje. Robots.txt ne štiti poverljive podatke, za to su potrebne autentifikacija i kontrola pristupa.
Posebno proverite zaštitni zid i pravila protiv botova. Dozvola u robots.txt neće pomoći ako server istom botu vraća zabranu ili stranicu sa proverom koju ne može da prođe. Identitet proveravajte prema zvanično objavljenim IP opsezima, a ne samo prema nazivu korisničkog agenta, koji se može lažirati. Pravila na sajtu i zaštita na mrežnom nivou moraju da budu usklađeni.
Da li otkrivanje stranice znači da će je ChatGPT citirati?
Ne znači. Treba razlikovati četiri koraka: otkrivanje adrese, preuzimanje sadržaja, uključivanje u indeks i izbor izvora za konkretan odgovor. Uspeh u prvom koraku ne potvrđuje uspeh u poslednjem.
Search Engine Journal u pregledu rezultata pilota naglašava da nisu objavljeni podaci o učestalosti citiranja novootkrivenih stranica niti o posetama koje su one dobile. Ni sama zajednička objava ne daje takve rezultate.
To je bitno u razgovoru sa klijentima. Izjava „bot nas je posetio” ne znači „ChatGPT nas preporučuje”. Čak ni primećen citat ne dokazuje da je korisnik otvorio sajt ili poslao upit. Pilot zasad ne dokazuje ni rast poslovnih rezultata, pa obećanje sigurnog citiranja nema uporište u objavljenim nalazima.
O toj razlici smo pisali u tekstu o tome zašto samo deo učitanih stranica završi u ChatGPT odgovorima. Rezultate različitih istraživanja ne treba spajati u jednu stopu uspešnosti, jer uzorci, upiti i način merenja nisu isti.
Šta bi domaća firma trebalo da proveri ove nedelje?
Počnite od malog uzorka važnih stranica. Na primer, izdvojite pet usluga koje donose upite i pet proizvoda za koje često odgovarate na ista pitanja. Proverite da li posetilac na njima može dobiti konkretan odgovor bez prijavljivanja i dodatnog pretraživanja.
Zatim pogledajte tehničku dostupnost. Da li URL vraća ispravan status? Da li stranica za uklonjen proizvod zaista označava da sadržaj ne postoji ili sve adrese vode na početnu? Da li postoji više kopija istog teksta bez jasne glavne adrese?
Cloudflare navodi da upravo nepostojeće stranice, preusmeravanja na početnu i duplikati mogu trošiti resurse botova. Sređivanje tih problema je razumna tehnička preporuka, ali kompanije nisu objavile formulu po kojoj određena ispravka donosi bolju poziciju.
Na sadržajnoj strani proverite stvarne podatke: cenu kada je javna, uslove isporuke, raspoloživost i datum kada se informacija promenila. Datum ne menjajte samo da bi stranica izgledala svežije. Ako servis više ne pokriva određeni grad, ažurirajte uslove, a ne samo zaglavlje. Pre širokih zahvata pregledajte mali broj poslovno važnih stranica i uklonite očigledne prepreke pristupu.
Kako meriti efekat bez pogrešnih zaključaka?
Tehničke pokazatelje odvojite od poslovnih rezultata. U serverskim zapisima pratite koje stranice posećuje provereni OAI-SearchBot i kakve odgovore dobija. U analitici pratite prepoznate posete iz ChatGPT-a, a zatim upite, kupovine ili druge korisne radnje tih posetilaca.
Za proveru citata odaberite mali, stalan skup pitanja relevantnih za firmu. Zabeležite datum, jezik i korišćeni proizvod. Takva provera služi za praćenje sopstvenog uzorka i ne predstavlja procenat ukupne vidljivosti brenda, jer različiti korisnici i različite formulacije mogu dobiti drugačije odgovore.
Rezultate iz aplikacije ne mešajte sa rezultatima dobijenim preko API-ja. Razlike u tom merenju objašnjene su u tekstu o ChatGPT API-ju i citatima u aplikaciji.
Ako broj zahteva bota poraste, nemojte odmah prijaviti ni uspeh ni problem. Cloudflare navodi da otkrivanje novih stranica u početku može povećati obim preuzimanja. Uporedite opterećenje servera sa kvalitetom dostupnosti i poslovnim ishodima. Više zahteva bota samo po sebi ne dokazuje korist.
Šta ostaje nepoznato posle ove objave?
Još ne znamo koliko je novih stranica zaista korišćeno u odgovorima, kakav su saobraćaj dobile i kako su prošli pojedinačni jezici. Nije objavljen ni precizan datum opšte dostupnosti ove mogućnosti.
Kompanije navode da će sledeća faza obuhvatiti bolji izbor stranica, pouzdanije signale o promenama i merenje ishoda posle otkrivanja sadržaja. To su planovi istraživanja, a ne rezultati koje već možemo pripisati svakom učesniku.
Za sada nema razloga da menjate mrežnog provajdera samo zbog ove vesti. Ima razloga da proverite da li vaš sajt nenamerno zatvara vrata pretrazi i da li njegove najkorisnije stranice zaista daju ažurne odgovore.
Šta uraditi sa ovom vešću?
Cloudflare i OpenAI prijavili su stotine miliona novootkrivenih i indeksiranih stranica u istraživačkom pilotu, ali veća baza izvora za ChatGPT pretragu ne garantuje citate, posete ni prodaju. Dozvolu za OAI-SearchBot možete razdvojiti od dozvole za GPTBot, uz pažljivu proveru postojećih pravila.
Za domaće sajtove najkorisniji posao sada je pregled dostupnosti i tačnosti važnih servisnih i proizvodnih stranica. Pristup botova i poslovne rezultate pratite odvojeno, i ne pripisujte svaki pomak ovom pilotu.
