SEO Vesti

Google: Mediapartners crawler više nije samo AdSense

Google je ažurirao dokumentaciju Mediapartners-Google crawlera. Ako ga blokiraš u robots.txt, to pogađa AdSense i Ad Manager, ne samo jedan oglasni proizvod.

Autor: SEO Srbija
Podeli: X Facebook LinkedIn
Tamna ilustracija Google crawlera koji obilazi oglasne slotove na izdavačkom sajtu, bez teksta na slici

Google je ažurirao dokumentaciju za Mediapartners-Google crawler. Više ga ne vezuje samo za AdSense. Ako u robots.txt imaš pravilo za ovog bota, to sada pogađa i Google Ad Manager i druge oglasne proizvode koje Google nije sve imenovao. Za izdavače u Srbiji to nije kozmetika u help tekstu. To je pitanje da li ti reklama uopšte stigne na stranicu.

Search Engine Journal je preneo izmenu 17. septembra 2026. Zvanični izvor je lista Google special-case crawlera. Tamo sada piše da crawler posećuje učesničke sajtove da bi im dao relevantne oglase, a da preference u robots.txt pogađaju razne ad proizvode, na primer AdSense i Ad Manager.

Šta je Google tačno promenio u tekstu?

Stara rečenica je bila uska. Pisalo je da preference za Mediapartners-Google utiču na Google AdSense, i da AdSense crawler dolazi na sajtove učesnika da bi im dao relevantne reklame.

Nova rečenica širi krug, a sužava preciznost. Crawler i dalje dolazi zbog relevantnih oglasa. Preference sada pogađaju “various ad-related Google products”. Kao primere Google navodi AdSense i Google Ad Manager. Ne kaže da je to ceo spisak. Ne kaže da li tu spadaju Google Marketing Platform, Local Services Ads ili AdMob.

To je klasičan Google potez: proširi obuhvat, ostavi rupu. Ako si do juče u glavi držao “Mediapartners = AdSense”, ta mapa više ne važi.

Ostalo u dokumentaciji nije dirano.

  • User-agent token u robots.txt i dalje je Mediapartners-Google.
  • Globalni user-agent * se ignoriše. Ako hoćeš da ga pustiš ili zaustaviš, moraš ga imenovati.
  • Na mobilnom requestu vidiš razne uređaje plus Mediapartners-Google/2.1.
  • Ide u grupu special-case crawlera. Radi sa drugog IP opsega od običnih Google crawlera. Reverse DNS maska je rate-limited-proxy-***-***-***-***.google.com.

To nije Googlebot. Ne indeksira ti članak za organsku pretragu. Dolazi da vidi stranicu onako kako je vidi čitalac, pa da na nju zalepi oglas koji ima smisla. Ako mu zatvoriš vrata, Google ne nagađa sadržaj. Prosto ne može da uradi posao.

Zašto ovo nije sitnica ako već imaš robots.txt?

Zato što mnogi sajtovi u Srbiji i dalje tretiraju Mediapartners kao “onaj AdSense bot”. Copy-paste pravila iz 2018. stoje godinama. Neko je negde pročitao da treba pustiti Googlebota, a ostale botaše stegnuti. Neko je na stagingu stavio Disallow: / za sve osim Googlebota i to pravilo odlutalo u produkciju.

Sad ta ista linija više nije lokalni AdSense problem. Ako koristiš Ad Manager, header bidding preko GAM-a, ili mešaš AdSense rezervu sa mrežom agencije, crawler koji ne sme da uđe kvari više od jednog kanala.

Posebno je opasna zvezda.

User-agent: *
Disallow: /preview/
Disallow: /korpa/

To Googlebot poštuje. Mediapartners-Google ne. Dokumentacija izričito kaže da special-case crawleri mogu da ignorišu globalna pravila. Zato postoji poseban token. Ako hoćeš da ovaj bot ne ide u korpu, admin i thank-you strane, moraš mu napisati sopstvenu grupu.

Ako hoćeš da ide svuda gde ide čitalac sa oglasom, nemoj ga uopšte dirati. Podrazumevano ponašanje je da crawler radi svoj posao. Ti ga ne “uključuješ” linijom Allow: /. Ti ga isključuješ ako ga imenuješ i zabraniš.

Ovo se lepo uklapa u priču koju smo već imali oko nedokumentovanih Google crawlera i robots.txt. Google ima više botaša nego što stane u jedan cheat sheet. Ime u logu nije dovoljno. Moraš da znaš koji proizvod stoji iza imena.

Šta se desi ako blokiraš Mediapartners-Google?

Najčešće ništa dramatično na prvi klik. Stranica se i dalje otvara. Googlebot i dalje indeksira. Search Console ne crveni. Zato ova greška živi mesecima.

Posle toga krene tiho.

  • Oglasi postaju manje relevantni, jer crawler nije video sadržaj.
  • Popunjenost pada na stranicama koje bot nije smeo da pročita.
  • Ad Manager kreativci i native jedinice pogađaju pogrešan kontekst.
  • Na novim URL-ovima reklama kasni, jer stranica nije “poznata” oglasnom sistemu.
  • Ako si stavio Disallow: / baš ovom user-agentu, AdSense može da ti javi da ne može da crawluje sajt.

To nije ranking kazna. Google te ne spušta zbog oglasa. Gubiš prihod, ne poziciju. Za portal koji živi od displaya, to je gori ishod od jednog lošeg snippeta.

Druga strana je isto ružna: pustiti crawler tamo gde nema šta da traži. Korpa, checkout, reset lozinke, PDF fakture, preview draftova, search result stranice sa query parametrima. Tu ne treba oglasni bot. Tu treba uska grupa u robots.txt, ne panični Disallow: /.

Ako već meriš kako reklame utiču na iskustvo, pogledaj i CrUX metrike za oglase. Jedna vest gleda da li crawler sme da vidi stranicu. Druga gleda da li reklama pali Core Web Vitals. Obe spadaju u isti posao: oglasni sloj više nije “nešto pored SEO-a”.

Kako da proveriš sajt u Srbiji za 20 minuta?

Ne treba Search Console izveštaj koji ne postoji. Treba log i jedan fajl.

  1. Otvori robots.txt. Traži Mediapartners-Google. Ako ga nema, globalna pravila ga ne vezuju. To je u redu, osim ako si hteo da ga ograničiš.
  2. Ako vidiš User-agent: Mediapartners-Google plus Disallow: /, to je crvena lampica. Skini to osim ako namerno gasiš Google oglase.
  3. U access logu za poslednjih 7 dana potraži string Mediapartners-Google. Na malom sajtu može da ga nema svaki dan. Na portalu sa AdSenseom treba da ga ima.
  4. Uporedi URL-ove koje bot vidi sa URL-ovima koje čitalac vidi. Ako bot stoji samo na početnoj, a oglasi su na člancima, imaš filter, firewall ili pogrešan robots.txt.
  5. Proveri WAF, Cloudflare Bot Fight, Wordfence i slične “block all bots” prečice. Special-case crawler ne dolazi sa istih IP-jeva kao Googlebot. Alati koji whitelistišu samo Googlebot često zasenče ovog.
  6. Ako koristiš Ad Manager, pitaj agenciju ili internog ad opsa koji je crawling path za native i video. Ne pretpostavljaj da je to isti bot kao AdsBot.

AdsBot nije Mediapartners. AdsBot proverava kvalitet odredišne stranice za Google Ads oglase. Mediapartners dolazi da bi na tvom sajtu, kao izdavaču, izabrao oglas. Pomešaš li ih u robots.txt, gasiš pogrešan proizvod.

Za JavaScript teške teme važi isto što i za AI crawlere koji ne vide JS linkove: bot treba da dobije sadržaj bez cirkusa. Ako je članak prazan dok se ne izvrši tri bundle-a, oglasni crawler vidi šuplju ljusku. Relevantan oglas tada nema na šta da se zakači.

Kako da izgleda ispravan robots.txt za ovog crawlera?

Ako živiš od Google oglasa, najbezbedniji default je da ga ne diraš. Nemaš grupu, nemaš Disallow, crawler radi.

Ako imaš zone koje nisu za oglase, imenuj ga. Primer za portal:

User-agent: Mediapartners-Google
Allow: /
Disallow: /nalog/
Disallow: /korpa/
Disallow: /checkout/
Disallow: /preview/
Disallow: /wp-admin/

Ne kopiraj slepo. Ako ti je /tag/ ili /amp/ stvarna destinacija sa oglasom, nemoj je zatvarati. Ako ti paginacija i filteri prave hiljade tankih URL-ova, zatvori njih, ne članak.

Tri greške koje i dalje vidim na .rs sajtovima:

  • Jedan Disallow: / za sve osim Googlebota. To je “SEO zaštita” iz 2012. i danas kvari oglase.
  • User-agent: Googlebot pravila pa pretpostavka da važe za sve Google botaše. Ne važe.
  • Blokada preko firewall-a po user-agentu, a robots.txt izgleda čist. Log laže da bot ne dolazi. Bot je odbijen pre robots.txt.

Ako radiš sa agencijom, traži im screenshot iz Ad Managera ili AdSensea da crawler nije blokiran. Usmeno “kod nas je to sređeno” nije dokaz. Dokaz je 200 iz loga na URL članka.

Šta ovo znači za izdavače i agencije u Srbiji?

Kratkoročno, ništa se ne pali u Search Consoleu. Nema novog izveštaja. Nema maila iz Googlea. Promena je u dokumentaciji, ne u algoritmu pretrage.

Srednjoročno, ovo je upozorenje za svakog ko drži dva sistema u glavi: SEO posebno, oglasi posebno. Google ih spaja na crawler nivou. Isti sajt, isti URL, drugi bot, drugi proizvod, ista robots.txt greška.

Praktičan spisak za redakciju ili solo izdavača:

  • Ako imaš samo AdSense, i dalje pusti Mediapartners. Ništa novo u ponašanju, novo je samo objašnjenje.
  • Ako imaš Ad Manager, prestani da ovog bota zoveš “AdSense crawler”. To više nije tačan naziv.
  • Ako imaš i jedno i drugo, jedno pravilo u robots.txt pogađa oba. Nemaš odvojeni prekidač.
  • Ako ne znaš koji oglasni stack stoji na sajtu, pitaj pre nego što dirneš fajl. Na malim sajtovima često stoji AdSense plus auto ads, a vlasnik misli da “nema Google oglasa, to radi agencija”.
  • Ako si blokirao bota jer ti je “žderao bendvidt”, izmeri pre nego što ga vratiš na crnu listu. Special-case crawler nije Googlebot koji ti žvaće sitemap svaki sat.

Google namerno nije dao pun spisak proizvoda. To ostavlja prostor da sutra isti user-agent pokrije još neki ad tool, a da ti ne dobiješ novi changelog. Zato pravilo treba da prati nameru: ovaj bot sme da vidi javni članak, ne sme da vidi nalog i korpu. Ne pravi politiku oko jednog brenda proizvoda koji Google može da preimenuje preko noći.

Rezime

Google je u septembru 2026. preformulisao Mediapartners-Google. Crawler više nije dokumentovan kao AdSense-only. Preference u robots.txt pogađaju oglasne proizvode u širem smislu, a kao primere stoje AdSense i Google Ad Manager. Rangiranje se ne menja. Prihod može.

Proveri fajl, proveri log, proveri WAF. Ako bot ne vidi članak, reklama nema šta da targetira. Ako bot vidi checkout, nemaš posla sa SEO-om, nego sa lošom higijenom. Imenuj crawler samo kad hoćeš da ga ograničiš. U suprotnom ga ostavi na miru.

Povezani članci