Lorsque nous faisons référence au SEO, la première chose qui nous vient généralement à l’esprit sont les facteurs de SEO tels que les mots-clés, les classes, le contenu, les titres… En d’autres termes, la première chose à laquelle nous pensons sont les facteurs orientés vers l’optimisation, laissant de côté des éléments très importants tels que l’optimisation du budget de crawl que les moteurs de recherche nous attribuent.
Eh bien, dans cet article, nous allons vous expliquer tout ce qui concerne ce sujet afin qu’il puisse vous aider à optimiser vos sites.
Qu’est-ce qu’un budget rampant ?
Bien que beaucoup d’entre vous connaissent déjà le fonctionnement de Google, il est intéressant de le rappeler avant d’entrer dans le vif du sujet.
Tout d’abord, il convient de préciser que le budget d’exploration correspond au temps que Google alloue à l’exploration d’un site.
Le temps que Google accorde à l’exploration d’un site dépend de plusieurs facteurs.
Facteurs influençant le budget du crawl
Par souci d’exhaustivité, Google n’a pas spécifiquement défini les facteurs qui déterminent le budget de crawl, mais un certain nombre d’études et de tests en ont révélé certains :
• Vitesse de chargement :Tout le monde ou presque sait l’importance que Google accorde au temps de chargement d’un site web. Les utilisateurs veulent que les sites web soient vus et chargés rapidement..
L’augmentation généralisée de l’utilisation des téléphones mobiles a conduit à cette obsession de créer des sites optimisés. En fait, moins le robot Google met de temps à explorer votre site, plus il vous accorde de budget d’exploration.
• Autorité du site web : Il est évident que plus un site web a d’autorité, plus Google le chouchoute, ce qui se traduit par un budget de crawl plus élevé, car Google les considère comme des pages de confiance.
• Le fichier robots.txt : Le fichier robots.txt détermine la manière dont Googlebot va parcourir le site, les zones du site qu’il va parcourir et celles qu’il ne va pas parcourir.
• Mise à jour du site web: Google a toujours fait savoir qu’il s’intéressait aux sites Web qui mettent continuellement à jour leur contenu, aux sites Web qui restent actifs.
• Architecture web : Une bonne architecture web dans la structure et la hiérarchie du site facilitera l’exploration du site par Googlebot, qui y verra un facteur positif pour le budget d’exploration..
Si Google accorde plus de temps, il sera en mesure d’explorer davantage de parties du site Web et, par conséquent, d’indexer plus ou moins de pages en fonction de la pertinence qu’il leur accorde pour l’utilisateur.
Maintenant que cela est clair, vous êtes-vous déjà demandé comment Google trouve un site web ? Les principaux moteurs de recherche utilisent des robots d’indexation, appelés désormais «crawlers», pour trouver les pages web.
Un crawler est simplement un petit logiciel qui parcourt l’internet en suivant tous les liens qu’il trouve afin de collecter toutes les informations des pages qu’il a visitées et de les stocker sur les serveurs.
Ces serveurs trient les informations sur la base de paramètres et les collectent pour les montrer ensuite aux utilisateurs.
Vous pouvez constater que presque chaque fois que nous parlons de moteurs de recherche, nous faisons référence à Google, car c’est le moteur de recherche le plus utilisé en España. Pour cette raison, nous allons concentrer l’explication un peu plus sur le crawel de Google, qui n’est autre que Googlebot.
Mais vous devez tenir compte du fait que Googlebot n’est pas formé par un seul crawler, car Google utilise différents crawlers pour trouver des informations. Chaque crawler se concentre généralement sur un type d’information : images, actualités, mobile… Voici un lien avec un tableau présentant tous les crawlers de Google : https://support.google.com/webmasters/answer/1061943?hl=es-419.
Pourquoi le crawl buget est-il important pour le SEO ?
Il peut arriver que le budget d’exploration que Google attribue à ses robots pour explorer un site Web ne soit pas suffisant pour leur permettre de visiter régulièrement certaines pages du site.
Si cela se produit, ces pages ne seront probablement pas aussi bien classées qu’elles le souhaiteraient, car l’expérience et certains rapports montrent que les pages qui sont explorées plus fréquemment reçoivent plus de trafic organique que celles qui ne sont pas visitées par le Googlebot.
Comment optimiser le budget crawl pour améliorer le SEO d’un site web ?
Après avoir vu les facteurs que google prend en compte pour le budget de crawl, vous aurez déjà une idée de ce que vous pouvez optimiser pour améliorer cet élément. Comme toujours, l’optimisation doit avoir un objectif et faire partie d’une stratégie de SEO, il ne suffit pas d’améliorer au hasard.
Imaginez que vous ayez déjà un site web dont l’architecture est aussi bonne que possible, ainsi qu’une autorité qui peut s’améliorer avec le temps, mais ces choses ne sont pas quelque chose que nous pouvons forcer à être rapide. Alors
Où pouvez-vous concentrer vos efforts ? Où pouvez-vous commencer ?
• Analyser le budget du crawl : La première chose à faire est de voir comment Googlebot ne visite pas le site (tant la version de bureau que la version mobile). Le moyen le plus simple et le plus rapide de le voir est d’aller dans la Search Console : https://search.google.com/search-console/about?hl=es, sous la rubrique suivi/statistiques de suivi.
Bien qu’il s’agisse d’un champ très important (afin de pouvoir vérifier le budget de suivi quotidien par rapport à la vitesse de téléchargement), il ne fournit pas d’informations désagrégées.
Une analyse beaucoup plus complète est fournie par les journaux d’accès. Si vous obtenez un bon paquet de journaux sur une courte période, vous pouvez les analyser avec des outils tels que SEO Log File Analyzer, grâce aux journaux nous pouvons. Cette information est très importante pour savoir si vous rampez ce que vous voulez ou ce dont vous avez besoin.
• Configurer la («Search Console»): Il existe un moyen de limiter l’exploration de Google par le biais de cette application, bien que cela ne soit généralement pas recommandé car une exploration élevée peut parfois causer des problèmes de vitesse du serveur..
Dans le coin supérieur droit, nous allons dans les paramètres du site / fréquence de recherche et de là, nous aurons deux options : Laisser Google optimiser mon site (recommandé) et Limiter la fréquence maximale d’exploration de Google.
• Codes de réponse :
L’analyse des journaux peut également nous indiquer si le robot de Google utilise une partie du budget d’exploration en explorant des pages redirigées. Ce n’est pas une mauvaise chose, mais cela ralentit et gaspille les ressources.
Un site web avec peu de redirections sera plus fluide pour les robots.
Si vous constatez qu’il y a beaucoup de liens externes brisés (404)
• Optimisation du fichier robots.txt: Si nous avons fait une bonne analyse et que nous nous rendons compte que Googlebot gaspille une partie de son budget d’exploration fréquemment sur des pages sans intérêt, il est temps d’ajouter des directives à robots.txt.
Mais il peut aussi nous aider pour le contraire, et que nous nous rendions compte qu’il n’atteint pas les routes que nous voulons et qu’elles sont peut-être bloquées par erreur dans le robots.txt.
Après cet article, nous espérons que l’importance du budget rampant ne sera plus jamais oubliée et que nous ne le négligerons pas.
Découvrez notre travail et nos services de référencement et mettez-vous entre les mains de professionnels du marketing online.
