Google je dopunio smernice za sprečavanje korisničkog spama i izdvojio stranice koje se dele linkom, generisane rezultate i interaktivne alate. Za sadržaj koji nije namenjen pretrazi preporučuje kontrolu indeksiranja. Domaći servisi treba da provere koje adrese javno otvaraju, jer zabrana preuzimanja kroz robots.txt ne garantuje da URL neće završiti u rezultatima.
Izmena od 26. oktobra važna je za vlasnike platformi, ali i za agencije koje održavaju poslovne aplikacije. Dugme za deljenje može da otvori novu javnu adresu. Pre nego što ona postane dostupna pretraživaču, treba odlučiti da li uopšte ima razlog da se tamo pojavi.
Šta je Google promenio u smernicama?
U zvaničnom vodiču za sprečavanje korisničkog spama sada postoji odeljak „Only index content meant for Search”. Google traži da vlasnici servisa razmotre namenu sadržaja koji korisnici stvaraju. Da li je namenjen pronalaženju kroz pretragu ili samo ljudima kojima je prosleđen link?
Za stranice napravljene radi direktnog deljenja, saradnje ili obavljanja konkretnog zadatka, dokumentacija preporučuje podrazumevani noindex ili blokiranje preuzimanja kroz robots.txt. Noindex može da se postavi kroz robots meta oznaku ili HTTP zaglavlje X-Robots-Tag.
Proširen je i uvodni opis rizika. Osim hosting platformi, Google pominje alate koji omogućavaju objavljivanje deljenih stranica, generisanog sadržaja i veb aplikacija. Zloupotreba može da napravi veliki broj pojedinačnih stranica, bez otvaranja zasebnih sajtova.
Search Engine Journal je izmenu dokumentovao 26. oktobra. Reč je o dopuni uputstva. Sama objava nije dokaz novog algoritamskog ažuriranja niti automatske kazne za servise koji imaju mogućnost deljenja.
Robots.txt i noindex ne rade isti posao
Formulacija u dopunjenom vodiču zahteva pažljivo čitanje. Kontrola preuzimanja i kontrola pojavljivanja u rezultatima nisu isto. Ako Googlebot ne može da otvori stranicu zbog robots.txt zabrane, ne može ni da pročita njen noindex.
SEJ u izveštaju ukazuje na razliku koju Google objašnjava u tehničkoj dokumentaciji. URL blokiran kroz robots.txt i dalje može da bude indeksiran ako do njega vode linkovi. U takvom slučaju Google ne preuzima sadržaj, ali sama adresa može da se pojavi u rezultatima, bez opisa.
Zato dve zabrane ne treba automatski kombinovati uz pretpostavku da daju dvostruku zaštitu. Kada je cilj da javno dostupna stranica ne bude u rezultatima, noindex mora da ostane dostupan Googlebotu. Za HTML stranicu oznaka može da izgleda ovako:
<meta name="robots" content="noindex" />Druga mogućnost je HTTP zaglavlje odgovora:
X-Robots-Tag: noindexIzbor zavisi od načina na koji aplikacija isporučuje sadržaj. Važnije od mesta upisa jeste da direktiva zaista stigne u odgovoru za konkretnu adresu. Oznaka u administratorskom podešavanju nije dovoljna provera ako javna stranica vraća drugačiji odgovor.
Ako razlika između preuzimanja i indeksiranja nije jasna članovima tima, prvo je razjasnite sa programerom. Pogrešno pravilo na nivou cele aplikacije može da zahvati i stranice koje želite u pretrazi.
Koje stranice domaći servisi treba da pregledaju?
Počnite od funkcija koje stvaraju nove adrese bez uredničkog odobrenja. To mogu biti rezultati korisničkih alata ili stranice otvorene dugmetom za deljenje. Ovo su predlozi za proveru sopstvenog servisa, a ne tvrdnja da je svaki takav URL problematičan.
Za svaku grupu adresa zabeležite odgovore na nekoliko pitanja:
- Da li sadržaj treba da pronalaze ljudi koji još nisu korisnici servisa?
- Da li stranica postoji radi saradnje ili prosleđivanja jednom primaocu?
- Ko može da je napravi i koliko takvih stranica može da objavi?
- Da li trenutno vraća noindex i može li Googlebot da ga pročita?
Za tim u Srbiji ovo je praktičan zadatak koji može da se uradi bez kupovine novog SEO alata. SEO osoba određuje očekivanu namenu stranica, a programer proverava odgovor aplikacije. Ako servis održava spoljna agencija, tražite proveru po grupama URL-ova, ne samo pregled početne strane.
Nemojte zbog ove vesti postavljati noindex na celokupan korisnički sadržaj. Google u istom vodiču i dalje opisuje procenu reputacije novih korisnika, moderaciju i mogućnost kasnijeg dozvoljavanja indeksiranja. Objavljivanje korisničkog sadržaja samo po sebi nije razlog da sve javne stranice budu isključene iz pretrage.
Novi naglasak na praćenju zloupotrebe
Dopunjene smernice ne završavaju se tehničkom oznakom. Google preporučuje verifikaciju sajta ili poddomena u Search Console, kako bi vlasnik dobijao obaveštenja o ručnim merama i bezbednosnim problemima.
Treba pratiti izveštaj o indeksiranju stranica i izveštaj o učinku u pretrazi. Posebno su važni neočekivani skokovi broja indeksiranih stranica, prikaza ili upita koji ne odgovaraju nameni platforme. Za osnovno snalaženje u tim izveštajima poslužiće naš vodič kroz Google Search Console.
Google dodatno preporučuje praćenje objavljivanja na nivou cele platforme. Signal za proveru može da bude nagli rast broja novih javnih stranica ili situacija u kojoj mali broj korisnika stvara veliki deo URL-ova dostupnih za indeksiranje.
To nije dokaz zloupotrebe samo po sebi. Razlog skoka treba istražiti. Uporedite novootvorene adrese sa nalozima koji su ih napravili i proverite sadržaj pre nego što preduzmete širu intervenciju. Dokumentacija preporučuje i pregled serverskih logova radi iznenadnog rasta saobraćaja.
Kako proveriti postojeću deljenu stranicu?
Odaberite jednu adresu koja predstavlja celu grupu, pa je proverite pre promene šablona aplikacije. Ako grupa ima različite režime pristupa, uzmite po primer za svaki režim.
- Otvorite javnu adresu bez korisničke prijave i utvrdite šta je dostupno posetiocu.
- Proverite robots.txt pravila koja važe za tu putanju.
- Pregledajte izvorni HTML ili HTTP zaglavlja i pronađite eventualni noindex.
- U Search Console proverite kako Google vidi taj URL i kakav je status indeksiranja.
- Uporedite stvarno stanje sa odlukom o tome da li stranica treba da bude u pretrazi.
SEJ posebno navodi status „Indexed, though blocked by robots.txt”. On pokazuje zašto zabrana preuzimanja ne sme da se tumači kao potvrda uklanjanja iz indeksa. Ako je cilj isključivanje, proverite da li robots.txt sprečava čitanje potrebne direktive.
Nemojte očekivati da promena bude potvrđena samim čuvanjem podešavanja. Google mora da obradi dostupne signale. O tome zašto taj proces nema univerzalan rok pisali smo u tekstu o vremenu potrebnom za Google indeksiranje.
Zadatak za sledeći razvojni ciklus
Najkorisniji rezultat ove dopune smernica jeste jasna odluka za svaku vrstu stranice. U specifikaciji funkcije za deljenje navedite da li njen rezultat treba da se pojavljuje u pretrazi, kako se ta odluka tehnički sprovodi i ko proverava javni odgovor posle izmene.
Za stranice namenjene samo pristupu preko linka nemojte podrazumevati da skrivena navigacija rešava pitanje indeksiranja. Proverite stvarne direktive. Za sadržaj koji treba da privlači posetioce iz pretrage sačuvajte odgovarajući pristup, uz moderaciju i praćenje zloupotrebe.
Danas izdvojite jednu grupu deljenih URL-ova iz svog servisa. Pošaljite programeru konkretan primer adrese i tražite potvrdu njenog robots.txt statusa i noindex odgovora. To je proverljiv početak, umesto opšteg zahteva da se „sredi indeksiranje”.
