Ce sunt, mai exact, Google Bots?
Cel mai probabil, sunteți deja familiarizați cu unele din cele mai bune practici SEO: structurarea website-ului, reguli de etichetare (ori utilizarea H tag-urilor), folosirea cuvintelor cheie (ori supraoptimizarea cuvintelor cheie), crearea conținutului unic etc… atunci, cu siguranță, ați auzit și de roboții Google (Google Bots).
Cu toate acestea, ce știți despre Google bots sau roboții de indexare? Acest fenomen diferă de bine cunoscuta optimizare SEO, deoarece acest proces are o profunzime mult mai mare. În timp ce procesul de optimizare SEO se ocupă cu optimizarea unui text pentru motorul de căutare, optimizarea pentru Google Bot se face pentru roboții de căutare Google (cunoscuți și ca Google Spiders, Site Crawlers ori Google Bots).
Desigur aceste procese au similarități, dar este necesar să clarificam principalele diferențe, întrucât acestea pot influența poziția în topul căutărilor site-ului dumneavoastră. Vom vorbi despre fenomenul de „site crawlability” (mai exact, cât de ușor le este roboților Google să „citească” site-ul). Acest proces este unul dintre cele mai esențiale atunci când ne referim la nivelul de transparență al website-ului.
Ce este Google bot ?
Site crawlers ori Google bots (în traducere roboți de indexare) sunt programe automate care examinează o pagină web și creează un index pe baza acesteia. În cazul în care o pagină web permite accesul bot-ilor (roboților), atunci acestea au posibilitatea de a adăuga această pagină la un index, și numai în acel caz, această pagină devine accesibilă pentru ceilalți utilizatori ai motorului de căutare.
Dacă vă doriți să înțelegeți procesul de optimizare pentru Google bot, trebuie, mai întâi să înțelegeți cum un Google spider (în traducere „păianjen Google”) scanează un site. Mai jos, găsiți cei patru pași de care aveți nevoie pentru a înțelege modul exact în care un păianjen Google scanează site-ul dvs. Iată cum acești patru pași ar trebui să clarifice acest aspect:
Aici putem vorbi de „crawl buget“, care se traduce prin cantitatea exactă de timp pe care roboții o petrec scanând un site. Cu cât pagina respectivă are mai multa autoritate, cu atât va primi mai multă atenție din partea Google.
Roboții Google accesează un site web în mod constant
Iată ce spune Google despre acest lucru: „Robotul Google nu are nevoie de acces la site mai mult de o dată, într-o secundă.“ Acest lucru înseamnă că site-ul dumnevoastră este sub controlul constant al „păianjenilor” Google, în cazul în care le-ați facilitat accesul.
Astăzi, mulți experți SEO dezbat așa-numita „rată de accesare” ( ori „crawl rate”) și încearcă să găsească o modalitate optimă de accesare a site-ului web pentru a obține o autoritate mai mare. Cu toate acestea, aici nu putem vorbi decât de o interpretare greșită, căci „crawl rate“ semnfică doar o viteză de procesare a robotului Google în fața cererilor de indexare.
Puteți chiar modifica această rată folosind Google Webaster Tools. Numărul de link-uri de calitate, unicitatea sau originalitatea, mențiunile în social media, pot influența poziția dumnevoastră în clasamentul SERP.
Ar trebui, de asemenea, menționat faptul că Google bots nu scanează fiecare pagină constant. De aceea, postarea de conținut nou și de calitate va atrage din ce în ce mai mult atenția roboților Google. Unele pagini nu pot fi scanate, așa că devin o parte a Google Cache. Formal, aceasta e o captură a site-ului, așa cum l-a „citit” Google ultima oară. Deci acea versiune arhivată va conta pentru Google, până când va avea loc o nouă indexare la care au apărut modificări de conținut.
Fișierul robots.txt este primul lucru pe care Google bots îl scanează, pentru a obține o hartă a site-ului ce urmează a fi indexat
Aceasta înseamnă că, dacă o pagină este marcată pentru a fi ignorată, roboții nu vor fi capabili să o scaneze și să o indexeze.
Sitemap-ul XML este un ghid pentru roboții Google
XML sitemap (harta XML) ajută boții pentru a afla ce locuri din site, ar trebui să fie accesate și indexate. Această hartă ajută în procesul de scanare, deoarece este posibil ca site-ul să fie construit într-o ierarhie dificilă de navigat și scanat în mod automat pentru un robot. O harta bună a site-ului poate ajuta paginile cu autoritate scăzută, care au backlink-uri puține și conținut mai de slabă calitate.
6 strategii pentru a optimiza site-ul cât mai bine pentru Google
După cum ați ințeles, optimizarea pentru Google spiders sau Google crawlers trebuie făcută, înaintea optimizării SEO. De aceea, haideți să vedem ce putem face pentru a facilita accesul boților Google la indexarea site-ului.
1. Folosirea excesivă nu este eficientă
Este bine de știut faptul că, Google bots nu pot scana anumite cadre, Flash player, JavaScript, DHTML, precum și bine cunoscutul cod HTML.
Mai mult decât atât, Google nu a clarificat încă, dacă Googlebot este capabil să acceseze cu crawler-ele sale coduri de tip Ajax sau JavaScript, așa că ar fi mai bine să le evitați în procesul de creare site web.
Deși Matt Cutts (fost angajat Google, care a ajutat la optimizarea lui Google bot) afirmă că JavaScript poate fi „citit” și interpretat de către „păianjenii web”, ghidul Google pentru bune practici aduce concepte contradictorii: „Dacă cookies-urile diferitelor cadre, Flash player sau JavaScript nu poate fi văzut într-un browser ca și text, atunci este posibil ca nici „păianjenii web” să nu fie capabili să le „citească” pe site-ul respectiv.”
Ca și referință, codul JavaScript nu trebuie folosit foarte des. Uneori, acesta este solicitat pentru a vedea ce cookies-uri a stocat site-ul tău.
2. Nu subestimați fișierul robots.txt
V-ați gândit vreodată care este scopul fișierului robots.txt? Este un fișier standard folosit în multe strategii SEO, dar este acesta cu adevărat util?
Pentru început, acest fișier este esențial pentru toate motoarele de căutare (Google, Bing, Yandex, Yahoo, Baidu, etc.). În al doilea rând, trebuie să vă decideți ce fișiere doriți să fie scanate de către Google. Dacă aveți un document, ori pagina pe care nu doriți ca Google bots să o acceseze, atunci acest lucru trebuie specificat în robots.txt.
Google va vedea imediat în acest fel, ce este prioritar pentru a fi scanat. Dacă nu indicați un anumit element ce trebuie evitat de la indexare, Google bot va „citi” și afișa in mod automat pagina respectivă în motorul său de căutare. Deci, funcția principală a fișierului robots.txt este de a preciza roboților Google, unde nu trebuie să se „uite”.
3. Conținutul unic și de calitate contează cel mai mult
Regula este că, atunci când un website are un conținut nou, este indexat mai frecvent; deci va primi și mai mult trafic.
În ciuda faptului că PageRank-ul determină cât de des va fi verificat un website de către Google bot, acesta poate deveni irelevant, în momentul în care vom analiza utilitatea și prospețimea conținutului, în comparație cu paginile cu PageRank scăzut.
Astfel scopul dumneavoastră principal este să aveți mai des scanate paginile cu mai puțină autoritate, întrucât puteți câștiga vizitatori la fel de ușor ca în cazul unei pagini cu autoritate mai mare.
4. Paginile care par interminabile
În cazul în care site-ul dumneavoastră are pagini care par că nu se mai termină, ori care la fiecare scroll încarcă conținut nou, asta nu înseamnă că paginile nu pot fi optimizate pentru Google bot. Va fi puțin mai dificil să îl „învățați” pe robot despre ce este vorba pe paginile respective, dar nu imposibil. Trebuie doar să urmati sfaturile oferite de Google pentru o indexare mai ușoară și mai eficientă.
5. Construirea de link-uri interne este o strategie eficientă
Acest lucru este foarte important, dacă doriți să facilitați procesul de scanare al roboților.
Dacă link-urile dumneavoastră interne sunt interconectate, „citirea” site-ului realizată de către boti va fi mult mai ușoară. Un web design echilibrat este plăcut atât utilizatorilor obisnuiți, cât și boților Google.
Dacă doriți să aveți o analiză a link-urilor interne construite, puteți verifica acest lucru în Google Webmaster Tools> Links> Internal Links.
În cazul în care o pagină este în capul listei, atunci înseamnă că aceasta conține cele mai multe link-uri interne.
6. Sitemap.xml este și el esențial
Sitemap.xml este un fișier ce oferă instrucțiuni roboților, despre cum să acceseze site-ul; aceasta este pur și simplu o hartă a site-ului.
Atunci, de ce este folosit? Pentru că, multe site-uri moderne, sunt dificil de scanat și au multe pagini care, de altfel, nu apar în alte referințe externe.
Harta va ușura mult procesul de indexare și nu va încurca bot-ul, cu privire la unde ar trebui să se uite mai departe pentru a scana întregul site. Acest fișier garantează că toate paginile din website sunt scanate și indexate de către Google.
Cum să analizați activitatea Google bot ?
Dacă vă doriți să vedeți activitatea realizată de către Google bot pe site-ul dumneavoastră, atunci puteți apela la Google Webmaster Tools.
Mai mult decât atât, va sfătuim să verificați datele furnizate de acest serviciu în mod regulat, pentru că vă poate atenționa dacă apar anumite probleme în procesul de scanare. Trebuie doar să verificați secțiunea „crawl“ din panoul dumneavoastră din Webmaster Tools.
Erori frecvente de scanare
Puteți verifica destul de simplu dacă site-ul dumneavoastră întâmpină erori în procesul de scanare. Făcând acest lucru constant, vă puteți asigura că nu veți avea erori, penalizări, pagini neindexate ori alte probleme.
Unele site-uri au probleme minore în procesul scanării, dar asta nu înseamnă ca le va influența traficul. Erorile pot apărea în urma unor modificări făcute recent la website, ori actualizări. Dacă acestea nu sunt rezolvate însă la timp, vor duce inevitabil la scăderea traficului și a poziției de top din motorul de căutare.
Mai jos puteți vedea câteva exemple de erori:
Sitemaps
Puteți utiliza această funcție dacă doriți să aduceți modificări la site map-ul personal, să examinați procesele și să analizați ce pagini sunt indexate.
“Fetching”
Secțiunea “Fetch as Google” vă ajută să vedeți site-ul ori pagina web, așa cum Google o vede prin intermediul roboților săi.
Statistici de citire/scanare
Google poate să vă spună, de asemenea, câtă informație a acumulat un „web spider” în decursul unei zile.
Așadar, dacă postați conținut nou și de calitate cu regularitate, veți avea rezultate pozitive in statistici.
Parametrii unui site URL (URL Paremeters)
Această secțiune vă poate ajuta să descoperiți unul din modurile în care Google accesează Internetul cu crawler-ele sale si cum vă indexează website-ul folosind parametrii URL.
În final, toate paginile web sunt scanate în mod standard de către Google, pe baza deciziei roboților săi. Noi putem doar să le facem deciziile mai eficiente și să ne asigurăm că au „citit” tot ce trebuia.
Sursa foto: Sitechecker