Internetul modern se bazeaza pe returnarea unui cod HTTP (Hypertext Transfer Protocol) atunci cand este interogata o pagina a unui site. In functie de codurile de stare pe care le primeste de la server acesta fie va afisa continutul paginii, fie va efectua operatiuneaa dictata de codul primit ca raspuns.
Astfel, codurile HTTP trebuie sa fie cat mai corecte si cat mai rapid afisate, deoarece astfel un site va fi astfel indexat corespunzator.
Cum se face indexarea site-urilor
Atunci cand se incepe procedura de indexare a site-urilor acestea sunt cerificate de catre crawlerele web ce sunt responsabile cu identificarea codurilor HTTP corecte si a tuturor paginilor continute de site-ul in cauza.
Sunt analizate si datele ce se pot gasi in Google Search Control referitoare la paginile mai vechi din site ce nu mai exista in momentul verificarii, dar care au fost indexate la momentul respectiv de catre motoarele de cautare.
In timpul procesului de indexare al site-ului se folosesc urmatoarele coduri HTTP, ce ne indica starea site-ului.
200 OK inseamna ca pagina cautata exista fizic pe un anumit site si poate fi accesata de vizitatori si de crawlerele de cautare. Continutul acestei pagini va fi luat in considerare si indexat de catre motoarele de cautare.
301 inseamna ca pagina cautata a fost mutata la o noua adresa, iar referintele existente catre aceasta pagina trebuie sa faca trmiterea catre noua adresa. Pentru cei ce lucreaza in SEO aceasta operatiune se numeste „redirect 301” si este necesar sa fie utilizata ori de cate ori adresa unei pagini se va muta.
Scurta lista a erorilor de cod HTTP
302 Found semnifica de fapt o „redirectionare temporara” si va transmite motoarelor de cautare informatia ca pagina cautata poate fi gasita (temporar) la o alta adresa. Din pacate la mutarea paginii link juice-ul va ramane alocat vechii adrese, iar ca urmare acest lucru nu este foarte indicat deoarece poate dauna rankingului site-ului.
404 Not Found transmite crawlerelor si utilizatorilor ca pagina cautata nu a fost gasita pe server si nu ne ofera indicatii ca pagina a fost mutata, stearsa, sau nu mai exista fizic deloc. Desi utilizatorii vor vedea afisat codul 404, la nivel logic este de fapt transmis codul 200 OK, ceea ce inseamna ca Googlebotii vor intra in acea pagina si vor indexa informatia gasita , fapt ce poate duce la probleme grave in ceea ce priveste rankingul site-ului.
304 Not Modified inseamna ca resursa este in regula si nu a fost modificata pe parcurs prin adaugarea de noi poze sau de content suplimentar. Acest cod inseamna ca nu ai trebuie descarcat si analizat continutul paginii deoarece nu a mai fost modificat, eficientizand astfel procesul de indexare al site-ului.
403 Forbidden transmite spiderilor ca accesul la pagina de la un anumit URL este restrictionat din mai multe motive, iar ca urmare a acestui fapt pagina va fi vizitata mult mai rar si continutul acesteia nu va fi indexat de catre motoarele de cautare.
410 Gone inseamna ca paginile de la un anumit URL nu mai exista si nu se stie daca acestea au fost mutate sau nu mai exista deloc.