Cel mai probabil, sunteti deja familiarizati cu unele din cele mai bune practici SEO: structurarea website-ului, reguli de etichetare (ori utilizarea H tag-urilor), folosirea cuvintelor cheie (ori supraoptimizarea cuvintelor cheie), crearea continutului unic etc… atunci cu siguranta ati auzit si de robotii Google. Cu toate acestea, ce știți despre Google bots sau robotii de indexare ? Acest fenomen diferă de bine cunoscuta optimizare SEO, deoarece acest proces este de o profunzime mai mare. În timp ce procesul de optimizare SEO se ocupă cu optimizarea unui text pentru motorul de cautare, atunci optimizarea pentru Google Bot se face pentru robotii de cautare Google (cunoscuti si ca Google Spiders, Site Crawlers ori Google Bots). Desigur aceste procese au similitudini, dar haideti sa clarificam principalele diferente, intrucat aceasta poate influenta pozitia in topul cautarilor a site-ului dumneavoastra. Vom vorbi despre fenomenul de „site crawlability” (cat de usor le este robotilor google sa „citeasca” site-ul). Acest proces este unul dintre cele mai esentiale atunci cand ne referim la nivelul de transparenta al website-ului.

 

Ce este Googlebot ?

 

Site crawlers ori Google bots (in traducere roboti de indexare) sunt programe automate care examineaza o pagină web și creează un index pe baza acesteia. În cazul în care o pagină web permite accesul bot-ilor (robotilor), atunci acest bot adaugă această pagină la un index, și numai atunci, această pagină devine accesibilă pentru ceilalti utilizatori ai motorului de cautare. Dacă vă doriți să înțelegeti procesul de optimizare pentru Googlebot, trebuie mai intai sa intelegeti cum un Google spider ( in traducere „paianjen Google”) scaneaza un site. Mai jos gasiti patru pasi de care aveți nevoie pentru a intelege modul exact in care un păianjen Google scanează site-ul. Iată acești patru pași care ar trebui sa clarifice acest aspect :

 

Dacă o pagină web are un PA (page authority) ridicat, robotul Google va petrece mai mult timp verificand pagina respectiva.

Aici putem vorbi de „crawl buget“, care se traduce printr-o cantitate exacta de timp pe care robotii o petrec scanand un site. Cu cat pagina respectiva are mai multa autoritate, cu atat va primi mai multa atentie din partea Google.

 

Roboții Google accesează un site web în mod constant

Iată ce spune Google despre acest lucru: „Robotul Google nu are nevoie de acces la site mai mult de o dată, intr-o secunda.“ Acest lucru înseamnă că site-ul dumnevoastra este sub controlul constant al „păianjenilor”,  în cazul în care le-ati facilitat accesul. Astăzi, mulți experti SEO dezbat așa-numita „rată de accesare” ( ori „crawl rate”) și încearcă să găsească o modalitate optimă de accesare a site-ului web pentru a obține o autoritate mai mare. Cu toate acestea, aici nu putem vorbi decat de o interpretare greșită, caci „crawl rate“ nu este decat decât o viteză de procesare a robotului Google in fata cererilor de indexare. Puteti chiar modifica aceasta rata folosind Google Webaster Tools. Numărul de link-uri de calitate, unicitatea, mentiunile in social media pot influența poziția dumnevoastra în clasamentul SERP . Ar trebui de asemenea mentionat ca Google bots nu scaneaza fiecare pagina constant. De aceea postarea de continut nou si de calitate va atrage din ce in ce mai mult atentia robotului Google. Unele pagini nu pot fi scanate, asa ca devin o parte a Google Cache. Formal, aceasta e captura a site-ului, asa cum l-a „citit” Google ultima oara. Deci acea versiune arhivata va conta pentru Google, pana cand va avea loc o noua indexare la care au aparut modificari de continut.

 

Fișierul robots.txt este primul lucru pe care Google bots il scaneaza, pentru a obtine o harta a site-ului ce urmeaza a fi indexat

Aceasta înseamnă că, dacă o pagină este marcata pentru a fi igonrata, roboții nu vor fi capabili sa o scaneze si indexeze.

Sitemap-ul XML este un ghid pentru roboții Google

XML sitemap (harta XML) ajută botii pentru a afla care locuri din site trebuie să fie accesate și indexate. Aceasta harta ajuta in procesul de scanare, deoarece este posibill ca site-ul sa fie construit intr-o ierarhie dificila de navigat, si scanat in mod automat pentru un robot.  O harta buna a site-ului poate ajuta paginile cu autoritate scazuta, care au backlink-uri putine si continut mai de slaba calitate.

 

6 strategii petnru a optimiza site-ul cat mai bine pentru Google

 

Dupa cum ati inteles, optimizarea pentru Google spider trebuie facuta inaintea optimizarii SEO. De aceea, haideti sa vedem ce putem face pentru a facilita accesul botior Google la indexarea site-ului.

1. Supradozarea nu este bună

Este bine de stiu faptul ca Google bots nu pot scana anumite cadre, Flash player, JavaScript , DHTML cât și bine cunostcutul cod HTML. Mai mult decât atât, Google a nu clarificat încă dacă Googlebot este capabil să acceseze cu crawlerele coduri tip Ajax sau JavaScript, asa ca ar fi mai bine sa le evitati in procesul de creare site web. Deși Matt Cutts (fost angajat Google, care a ajutat la optimizarea lui Googlebot)  afirmă că JavaScript poate fi „citit” si interpretat de catre „păianjenii web”, ghidul Google pentru bune practici aduce concepte contradictorii: „Dacă cookies-urile diferitelor cadre, Flash player sau JavaScript nu poate fi văzut într-un browser ca si text, atunci este posibil ca nici „păianjeni web” sa nu fie capabili sa le „citeasca” pe site-ul respectiv.” Ca si referinta, codul JavaScript nu trebuie folosit foarte des. Uneori acesta este solicitat pentru a vedea ce cookies-uri a stocat site-ul tau.

 

2. Nu subestimati fisierul robots.txt

V-ați gandit vreodata care este scopul fisierului robots.txt ? Este un fisier standard folosit in multe strategii SEO, dar este acesta cu adevart util ? Pentru inceput, acest fisier este esential pentru toate motoarele de cautare (Google, Bing, Yandex, Yahoo, Baidu, etc.). In al doilea rand, trebuie sa va decideti ce fisiere doriti ca Google sa le scaneze. Daca aveti un document ori pagina pe care nu doriti ca Google bots sa o acceseze, atunci acest lucru trebuie specificat in robots.txt. Google va vedea imediat in acest fel, ce este prioritar pentru a fi scanat. Daca nu indicati ca un anumit element trebuie evitat de la indexare, Googlebot va „citi” si afisa in mod automat pagina respectiva in motorul sau de cautare. Deci, functia principala a fisierului robots.txt este de a preciza robotilor Google, unde nu trebuie sa se „uite”.

 

3. Conținutul unic și de calitate contează poate cel mai mult

Regula este că, atunci cand un website are continut nou, este indexat mai frecvent; deci va primi si mai mult trafic. În ciuda faptului că PageRank – ul determină cat de des va fi verificat un website de catre Googlebot, acesta poate deveni irelevant cand vom analiza utilitatea si prospetimea continutului in comparatie cu paginile cu PageRank scazut. Astfel scopul dumneavoastra pricipal este sa aveti paginile cu mai putina autoritate mai des scanate, intrucat puteti castiga vizitatori la fel de usor ca o pagina cu autoritate.

 

4. Paginile care nu se mai termina

În cazul în care site-ul dumneavoastra are pagini care par ca nu se mai termina, ori care la fiecare scroll incarca continut nou, asta nu inseamna ca paginile nu pot fi optimizate pentru Googlebot. Va fi putin mai dificil sa il „invatati” pe robot despre ce este vorba pe paginile respective, dar nu imposibil. Trbuie doar sa urmati sfaturile oferite de Google pentru o indexare mai usoara.

5. Construirea de link-uri interne este o strategie eficienta

Acest lucru este foarte important, daca doriti sa facilitati procesul de scanare al robotilor. Daca link-urile dumneavoastra interne sunt interconectate, „citirea” site-ului realizata de catre boti va fi mult mai usoara. Un web design echilibrat este placut atat utilizatorilor umani, cat si botilor Google. Daca doriti sa aveti o analiza a link-urilor interne construite, puteti verifica acest lucur in Google Webmaster Tools> Links> Internal Links. Daca o pagina este in capul listei, atunci aceasta contine cele mai multe link-uri interne.

strategie construire link-uri interne

 

6. Sitemap.xml este si el esential

Sitemap.xml este un fisier ce oferă instrucțiuni robotilor, despre cum sa acceseze site-ul; aceasta este pur și simplu o hartă a site-ului. De ce este folosit atunci ? Pentru ca multe site-uri moderne, sunt dificil de scanat, si au multe pagini care care nu apar in alte referinte externe. Harta va usura mult procesul de indexare, si nu va confuza bot-ul unde ar trebui sa se uite mai departe pentru a scana intregul site. Acest fisier garanteaza ca toate paginile din website sunt scanate si indexate de catre Google.

 

Cum să analizati activitatea Googlebot ?

 

Dacă vă doriți să vedeți activitatea realizata de catre Googlebot pe site-ul dumneavoastra, atunci puteti apela la Google Webmaster Tools. Mai mult decât atât, va sfătuim să verificați datele furnizate de acest serviciu în mod regulat, pentru ca va poate atentiona daca apar anumite probleme in procesul de scanare. Trebuie doar sa verificati sectiunea „crawl“ din panoul dumneavoastra din Webmaster Tools.

Erori frecvente de scanare

Puteti verifica destul de simplu daca site-ul dumneavoastra intampina erori in procesul de scanare. Facand acest lucru constant, va puteti asigura ca nu veti avea erori, penalizari, pagini neindexate ori alte probleme. Unele site-uri au probleme minore in procesul scanarii, dar asta nu inseamna ca le va influenta traficul. Erorile pot aparea in urma unor modificari facute recent la website, ori actualizari. Daca aceastea nu sunt rezolvate insa la timp, vor duce inevitabil sa scaderea traficului si a pozitiei de top din motorul de cautare. Mai jos puteti vedea cateva exemple de erori:

erori indexare google

Sitemaps

Puteti utiliza aceasta functie daca doriti sa aduceti modificari la sitemap-ul personal, sa examinati procesele si sa analizati ce pagini sunt indexate.

sitemap seo

 

“Fetching”

Secțiunea “Fetch as Google” va ajuta sa vedeti site-ul ori pagina web, asa cum Google o vede prin robotii sai.

cum vede google un website

 

Statistici de citire / scanare

Google poate sa va spuna de asemenea cata informatie a acumular un „web spider” in decursul unei zile. Deci daca postati continut nou si de calitate cu regularitate, veti avea rezultate pozitive in statistici.

statistici scanare google webmaster tools

 

Parametrii unui site URL ( URL Paremeters )

Această secțiune poate ajuta să descoperiti unul din modurile in care Google accesează internetul cu crawler-ele sale si cum va indexează website-ul folosind parametrii URL. In final, toate paginile web sunt scanate in mod standard de catre Google, pe baza deciziei robotilor. Noi putem doar sa le facem deciziile mai eficiente, si sa ne asiguram ca au „citit” tot ce trebuia.

parametri url

Sursa foto: Sitechecker