Cel mai probabil, sunteti deja familiarizati cu unele din cele mai bune practici SEO : structurarea website-ului, reguli de etichetare (ori utilizarea H tag-urilor), cuvinte cheie, ori supraoptimizarea cuvintelor cheie, crearea continutului unic si de valoare si altele.. atunci cu siguranta ati auzit si de robotii Google. Cu toate acestea, ce știți despre Google bots sau robotii de indexare ? Acest fenomen diferă de bine cunoscuta optimizare SEO, deoarece acest proces este de o profunzime mai mare. În timp ce procesul de optimizare SEO se ocupă cu optimizarea unui text pentru motorul de cautare, atunci optimizarea pentru Google Bot se face pentru robotii de cautare Google (Google spiders). Desigur aceste procese au similitudini, dar haideti sa clarificam principalele diferente, intrucat aceasta poate influenta pozitia in topul cautarilor a site-ului dumneavoastra. Vom vorbi despre fenomenul de „site crawlability” (cat de usor le este robotitlor google sa „citeasca” site-ul). Acest proces este unul dintre cele mai esentiale atunci cand ne referim la nivelul de transparenta al website-ului.

 

Ce este Googlebot ?

 

Site crawlers ori Google bots ( in traducere roboti de indexare ) sunt programe automate care examineaza o pagină web și creează un index. În cazul în care o pagină web permite accesul unui bot (robot), atunci acest bot adaugă această pagină la un index, și numai atunci, această pagină devine accesibilă pentru ceilalti utilizatori ai motorului de cautare . Dacă vă doriți să vedeți modul în care acest proces se realizează , verifica aici . Dacă vă doriți să înțelegeti procesul de optimizare pentru Googlebot, trebuie mai intai sa intelegeti cum un Google spider ( in traducere „paianjen Google”) scaneaza un site. Mai jos gasiti patru pasi aveți nevoie pentru a clarifica modul exact un păianjen Google scanează un site. Iată acești patru pași care ar trebui sa clarifice acest aspect :

 

Dacă o pagină web are un PA (page authority) ridicat, robotul Google va petrece mai mult timp verificand pagina respectiva.

Aici putem vorbi de „crawl buget“, care se traduce printr-o cantitate exacta de timp pe care robotii o petrec scanand un site. Cu cat pagina respectiva are mai multa autoritate, cu atat va primi mai multa atentie din partea Google.

 

Roboții Google accesează un site web în mod constant

Iată ce Google spune despre acest lucru: „Robotul Google nu are nevoie de acces la site mai mult de o dată, intr-o secunda.“ Acest lucru înseamnă că site-ul dumnevoastra este sub controlul constant al „păianjenilor”,  în cazul în care le-ati facilitat accesul. Astăzi, mulți experti SEO dezbat așa-numita „rată de accesare” ( ori „crawl rate”) și încearcă să găsească o modalitate optimă de accesare a site-ului web pentru a obține o autoritate mai mare. Cu toate acestea, aici ne putem vorbi decat de o interpretare greșită, caci „crawl rate“ nu este decat decât o viteză de procesare a robotului Google in fata cererilor de indexare. Puteti chiar modifica aceasta rata folosind Google Webaster Tools. Numărul de link-uri de calitate, unicitatea, mentiunile in social media pot influența poziția dumnevoastra în clasamentul SERP . Ar trebui de asemenea mentionat ca Google bots nu scaneaza fiecare pagina constant. De aceea postarea de continut nou si de calitate va atrage din ce in ce mai mult atentia robotului Google. Unele pagini nu pot fi scanate, asa ca devin o parte a Google Cache. Formal, aceasta e captura a site-ului, asa cum l-a „citit” Google ultima oara. Deci acea versinue arhivata va conta pentru Google, pana cand va avea loc o noua indexare la care au aparut modificari de continut.

 

Fișierul robots.txt este primul lucru pe care Google bots il scaneaza, pentru a obtine o harta a site-ului ce urmeaza a fi indexat

Aceasta înseamnă că, dacă o pagină este marcata pentru a fi igonrata, roboții nu vor fi capabili sa o scaneze si indexeze.

Sitemap-ul XML este un ghid pentru roboții Google

XML sitemap ajută botii pentru a afla care locuri din site trebuie să fie accesate cu crawler-ele și indexate. Aceasta harta ajuta in procesul de scanare, deoarece poate exista o structura si organizare diferita si dificila pentru a putea fi scanata in mod automat. O harta buna a site-ului poate ajuta paginile cu autoritate scazuta, care au backlink-uri putine si continut mai de slaba calitate.

 

6 strategii petnru a optimiza site-ul cat mai bine pentru Google

 

Dupa cum ati inteles, optimizarea pentru Google spider trebuie facuta inaintea optimizarii SEO. De aceea, haideti sa vedem ce putem face pentru a facilita accesul botior Google la indexarea site-ului.

Supradozarea nu este bună

Este bine de stiu faptul ca Google bots nu pot scana anumite cadre, Flash player, JavaScript , DHTML cât și bine cunostcutul cod HTML. Mai mult decât atât , Google a nu clarificat încă dacă Googlebot este capabil să acceseze cu crawlerele Ajax și JavaScript, asa ca ar fi mai bine sa le evitati in procesul de creare site web. Deși Matt Cutts (fost angajat Google, care a ajutat la optimizarea lui Googlebot)  afirmă că JavaScript poate fi „citit” si interpretat de catre „păianjenii web”, ghidul Google pentru bune practici aduce concepte contradictorii: „Dacă cookies-urile diferite cadre, Flash player sau JavaScript nu poate fi văzut într-un browser ca si text, atunci este posibil ca „păianjeni web” sa nu fie capabili sa „citeasca” nimic pe site-ul respectiv.” Ca si referinta, codul JavaScript nu trebuie folosit foarte des.. Uneori acesta este solicitat pentru a vedea ce cookies-uri a stocat site-ul tau.

 

Nu subestimati fisierul robots.txt

V-ați gandit vreodata care este scopul fisierului robots.txt ? Este un fisier standard folosit in multe strategii SEO, dar este acesta cu adevart util ? Pentru inceput, acest fisier este esential pentru toate motoarele de cautare (Google, Bing, Yandex, Yahoo, Baidu, etc.). In al doilea rand, trebuie sa va decideti ce fisiere doriti ca Google sa le scaneze. Daca aveti un document ori pagina pe care nu doriti ca Google bots sa o acceseze, atunci acest lucru trebuie specificat in robots.txt. Google va vedea imediat in acest fel ce este prioritar pentru a fi scanat. Daca nu indicati ca un anumit element trebuie evitat de la indexare, Googlebot va „citi” si afisa in mod automat pagina respectiva in motorul sau de cautare. Deci, funtia principala a fisierului robots.txt este de a preciza robotilor Google, unde nu trebuie sa se „uite”.

 

Conținutul unic și de calitate contează poate cel mai mult

Regula este că, cu cat un website cu continut nou este indexat mai frecvent, cu atat ca va primi si mai mult trafic. În ciuda faptului că PageRank – ul determină cat de des va fi verificat un website de catre Googlebot, acesta poate deveni irelevant cand vom analiza utilitatea si prospetimea continutului in comparatie cu paginile cu PageRank scazut. Astfel scopul dumenvoastra pricipal este sa aveti paginile cu mai putina autoritate mai des scanate, intrucat puteti castiga vizitatori la fel de usor ca o pagina cu autoritate.

 

Paginile care nu se mai termina

În cazul în care site-ul dumneavoastra are pagini care par ca nu se mai termina, ori care la fiecore scroll incarca continut nou, asta nu inseamna ca paginile nu pot fi optimizate pentru Googlebot. Va fi putin mai dificil sa il „invatati” pe robot despre ce este vorba pe paginile respective, dar nu imposibil. Trbuie doar sa urmati sfaturile oferite de Google pentru o indexare mai usoara.

Construirea de link-uri interne este o strategie eficienta

Acest lucru este foarte important, daca doriti sa facilitati procesul de scanare al robotilor. Daca link-urile dumneavoastra interne sunt interconectate, „citirea” site-ului realizata de catre boti va fi mult mai usoara. Un web design echilibrat este placut atat utilizatorilor umani, cat si botilor Google. Daca doriti sa aveti o analiza a link-urilor interne construite, puteti verifica acest lucur in Google Webmaster Tools> Links> Internal Links. Daca o pagina este in capul listei, atunci aceasta contine cele mai multe link-uri interne.

strategie construire link-uri interne

 

Sitemap.xml este si el esential

Sitemap.xml este un fisier ce oferă instrucțiuni robotilor, despre cum sa acceseze site-ul; aceasta este pur și simplu o hartă pentru a site-ului. De ce este folosit atunci ? Pentru ca multe site-uri moderne, sunt dificil de scanat, au multe pagini care care nu apar in alte referinte externe. Harta va usura mult procesul de indexare, si nu va confuza bot-ul unde ar trebui sa se uite mai departe pentru a scana intregul site. Acest fisier garanteaza ca toate paginile din website sunt scanate si indexate de catre Google.

 

Cum să analizati activitatea Googlebot ?

 

Dacă vă doriți să vedeți activitatea realizata de catre Googlebot pe site-ul dumneavoastra, atunci puteti apela la Google Webmaster Tools. Mai mult decât atât, va sfătuim să verificați datele furnizate de acest serviciu în mod regulat, pentru ca va poate atentiona daca apar anumite probleme in procesul de scanare.așa cum se va arăta tu dacă unele probleme apar în timp ce crawling . Trebuie doar sa verificati sectiunea „crawl“ din panoul dumneavoastra din Webmaster Tools.

Erori frecvente de scanare

Puteti verifica destul de simplu daca site-ul dumneavoastra intampina erori in procesul de scanare. Facand acest lucru constanta, va puteti asigura ca nu veti avea erori, penalizari, pagini neindexate ori alte probleme. Unele site-uri au probleme minore in procesul scanarii, dar asta nu inseamna ca le va influenta traficul. Erorile pot aparea in urma unor modificari facute recent la website, ori actualizari. Daca aceastea nu sunt rezolvate insa la timp, vor duce inevitabil sa scaderea traficului si a pozitiei de top din motorul de cautare. Mai jos puteti vedea un exemplu de eroare:

erori indexare google

Sitemaps

Puteti utiliza aceasta functie daca doriti sa aduceti modificari al sitemap-ul personal, sa examinati procesele si sa analizati ce pagini sunt indexate.

sitemap seo

 

“Fetching”

Secțiunea “Fetch as Google” va ajuta sa vedeti site-ul ori pagina web, asa cum Google o vede prin robotii sai.

cum vede google un website

 

Statistici de citire / scanare

Google poate sa va spuna de asemenea cata informatie a acmulat un „web spider” in decursul unei zile. Deci daca postati continut nou si de calitate cu regularitate, veti avea rezultate pozitive in statistici.

statistici scanare google webmaster tools

 

Parametrii unui site URL ( URL Paremeters )

Această secțiune poate ajuta să descoperiti unul din modurile in care Google accesează internetul cu crawler-ele sale si cum va indexează website-ul folosind parametrii URL. In fianal, toate paginile web sunt scanate in mod standard de catre Google, pe baza deciziei robotilor. Noi putem doar sa le facem deciziile mai eficiente, si sa ne asiguram ca au „citit” tot ce trebuia.

parametri url

Sursa: Sitechecker