Optimizacija: Podešavanja robots

U prethodnim postovima je bilo reči o opisu, stranici 404 i sitemap a ovde ćete videti kako treba podesiti robots.

Izaberite na tabli Blogger-a, sa leve strane karticu Podešavanja, pa onda opciju Podešavanja pretrage.

Obratite pažnju na Upozorenje!... o nekorektnom korišćenju odeljka „Popisivači i indeksiranja“, jer je ono krajnje ozbiljno. Kada pravilno uradite podešavanja, roboti će potpunije indeksirati koristan sadržaj vašeg bloga:

1. Prilagođeni robots.txt: Možete ovu opciju preskočiti, tj, ostaviti podrazumevane vrednosti. A, ako želite izmenu, evo ukratko o toj opciji.

Datoteka robots.txt je obična tekstualna datoteka, sa proširenjem .txt, u kojoj je napisana instrukcija za pretraživače. Pomoću te instrukcije vi zadajete robotima pretraživača šta će iz sadržaja vašeg bloga da indeksiraju, a šta ne.

Podrazumevani sadržaj datoteke robots.txt vašeg bloga možete pogledati u Alatke za vebmastere. Izaberite blog, za koji želite da pogledate datoteku, a zatim, u levom stupcu izaberite Stanje--Blokirane URL adrese. Na toj stranici ćete videti sadržaj sa adrese: http://adresa-vašeg-bloga/robots.txt

Moja datoteka robots.txt, sa omogućenim indeksiranjem, u Blogger-u ima ovakvu strukturu:

User-agent: Mediapartners-Google

Disallow:

User-agent: *

Disallow: /search

Allow: /

Sitemap: http://blogsnelle.blogspot.com/feeds/posts/default?orderby=UPDATED

Značenja su:

User-agent: Mediapartners-Google – korisnički-agent robota AdSense;

Disallow: - ne dozvoli indeksiranje

User-agent:* - bilo koji korisnički agent;

Allow: - dozvoli indeksiranje

Sitemap: - xml mapa

U navedenoj strukturi, svim agentima je zabranjen (Disallow: /search) pristup odeljku /search u blogu (to se radi da bi se sprečilo dupliranje u kešu PC) i dozvoljeno je indeksiranje celog bloga (Allow: /).

Takođe, u datoteci robots.txt je naveden put ka mapi bloga – Sitemap, što pretraživačima olakšava nalaženje stranica (naravno, umesto adrese mog bloga, tu stoji adresa vašeg bloga).

Na novoj tabli Blogger-a vi možete po svojoj želji dopuniti tu datoteku. Pored „Prilagođeni robots.txt“, kliknite na“Izmeni“. Na pitanje: „Želite li da omogućite prilagođeni sadržaj datoteke robots.txt?“, kliknite na „Da“.

U okno unesite željene izmene i kliknite na Sačuvaj promene:

2. Prilagođene oznake zaglavlja robota: opcija, preko koje podešavate tagove robots za zaglavlje. Kkliknite na „Izmeni“. Pojaviće se pitanje: „Želite li da omogućite prilagođene oznake zaglavlja robota?“ Kliknite na „Da“, a zatim štiklirajte kućice kao što je prikazano na slici ispod, a onda kliknite na dugme „Sačuvaj promene“:

Na taj način, za robote pretraživača zadajete sledeća pravila ponašanja:

Početna stranica: indeksirati sve na Početnoj stranici (Glavnoj)

Arhiviraj i pretraži stranice: ne indeksirati i ne arhivirati stranice pretrage i arhiva (možete po želji štiklirati u tom odeljku i nofollow)

Pravila, koja ste na ovaj način zadali, odnose se na sva zaglavlja u blogu. Ta pravila možete izmeniti za pojedinačne postove. Da bi to uradili, potrebno je da na tabli Blogger-a, u spisku sa leve strane, izaberete karticu „Postovi“, a zatim, ispod naziva posta, opciju „Izmeni“: