Comment inciter Google à indexer votre site ?

Tout d’abord, petit rappel sur ce qu’est « l’indexation ».

L’indexation c’est l’ajout d’une page web à l’index de Google. Bon votre prochaine question est « c’est quoi l’index ? », donc :

L’index de Google c’est en quelque sorte le catalogue de pages web qu’il constitue au fur et à mesure de son exploration du web.

Dans cet index les pages sont classés en fonction de nombreux critères de pertinence.

Pour indexer les milliards de pages sur le web, Google déploie son armée de GoogleBot. Ces robots ont pour mission d’explorer le web à la recherche de nouvelles pages à indexer et de nouveaux contenus à mettre à jour.

Concrètement les Googlebots arrive sur une page, l’explore, (on dit qu’ils la crawlent), récupèrent tout le code html de la page puis l’ajoute à l’index.

Enfin ça c’est dans le meilleur des cas, on verra qu’il est de plus en plus difficile de faire partie de l’index de Google.

Pour être clair, si votre page web figure dans l’index de Google, il sera en mesure de la proposer dans ses résultats.

Si votre page ne fait pas partie de son index, alors aucune chance d’apparaître dans les résultats de Google.

Voilà donc toute l’importance de favoriser l’indexation de votre site par Google.

Avec le temps, Google a perfectionné de plus en plus ses algorithmes afin de proposer des résultats toujours plus pertinents à ses utilisateurs.

Si à l’initial, l’objectif de Google était de posséder l’index le plus complet, il a avec le temps fait évoluer sa stratégie.

Désormais, Google se fait très exigeant face aux contenus qu’il intègre dans son index.

Ce sont les nombreuses évolutions faites à son algorithme ces dernières années qui le prouvent et d’autant plus la toute dernière mise à jour « Google’s helpful content update » déployée le 18 août 2022. 

Google a lancé en aout la dernière mise à jour « majeur » de son algorithme, la « Google’s helpful content update ». Cette évolution a pour but de pénaliser les sites qui ne proposent pas de contenu qualitatif en déclassant non seulement leurs pages de mauvaise qualité mais également le site dans son ensemble.

Même si cette mise à jour s’applique aujourd’hui uniquement aux contenus en anglais, elle sera déployée à toutes les langues dans les prochains mois.

Ce sont pour toutes ces raisons qu’il est de plus en plus difficile de faire partie de l’index de Google.

Il existe plusieurs moyens d’améliorer l’indexation de vos pages par Google.

Le robot txt est un fichier qui permet de donner à Google les consignes d’exploration de votre site.

Si votre site possède des pages que vous ne souhaitez pas que Google explore c’est ici que vous pouvez le lui indiquer.

Attention cependant, ce fichier ne permet pas de bloquer l’indexation de certaines pages. 

Si vous ne souhaitez pas que votre page soit indexée par les robots des moteurs de recherche il faut ajouter la balise <meta name= "robots" content ="noindex">

Le robot txt sert à faciliter l’exploration de votre site par les robots, en donnant en quelques sortes la « feuille de route » aux robots d’exploration.

Le robot txt vous permet ainsi de gérer le trafic d’exploration et d’éviter toute surcharge éventuelle de votre serveur.

Le robot txt donne les instructions d’exploration, il faut donc indiquer à Google les pages qu’il a le droit d’explorer et celle qu’il n’est pas nécessaire de crawler.

Pour donner l’autorisation de crawler certaines pages vous pouvez écrire :

Le « User-agent : * » désigne tous les robots d’exploration

Si vous souhaitiez uniquement cibler un type de robot, les robots de google par exemple il faudrait écrire : « User-agent : Googlebot »

Le allow (qui signifie autoriser en anglais) donne ainsi l’autorisation aux robots d’explorer les URL indiqués.

Vous pouvez ainsi renseigner l’URL du sitemap de votre site.

Cela indiquera alors que vous autorisez l’exploration de toutes URL présentes dans le sitemap.

Pour créer un robot txt il suffit d’utiliser un outil texte tel que "bloc note" et d’y écrire les règles d’exploration souhaitée.

Si vous souhaitez plus d’information sur sa création vous pouvez consulter la documentation proposée par Google sur sa création.

Le robot txt doit être nommé « robot txt » et se trouver à la racine de l’hôte de votre site web.

Si vous avez créé votre site vous-même via un CMS, il existe très probablement des plug in qui vous permettent d’ajouter ou de modifier votre robot txt. C’est le cas de Wordpress qui le permet via son plug in « Yoast SEO » ou bien « All in one seo » par exemple.

Si votre site a été créé via une autre technologie et que vous n’avez pas la main sur cette partie (ou que vous trouvez ça trop technique), je vous conseille alors de contacter votre agence web.

Comme indiqué plus haut, le robot txt vous permet de donner les indications d’exploration aux robots.

Il vous permet ainsi de maîtriser au mieux les pages que doivent explorer les Googlebot, d’empêcher la surcharge éventuelle de votre serveur et d’optimiser au maximum votre budget crawl.

Le budget crawl correspond au nombre de page que les robots de google vont explorer lors d’un passage sur votre site. 

Si vous pensiez que Google visitait toutes vos pages à chaque visite et bien non ! Les robots ne vont explorer qu’un certain pourcentage d’URL et le robot txt vous permet d’orienter les Googlebot vers les pages les plus pertinentes.

C’est pourquoi il est très important d’optimiser votre robot txt en indiquant les URL des pages que Google ne doit pas crawler afin de ne pas gaspiller le budget associé à votre site.

Le sitemap se traduit par « plan du site », il correspond à un fichier « xml » qui liste les URL des pages de votre site.

Le sitemap vous permet d’indiquer à Google l’ensemble des pages que vous jugez importantes sur votre site.

Google consulte alors ce fichier pour crawler plus efficacement votre site. Cela permet à Google de trouver plus facilement les URL à visiter.

Il est possible de créer un sitemap « à la main », en utilisant bloc note par exemple et en suivant les règles relatives à la rédaction d’un sitemap.

Sinon, pour faire plus simple, vous pouvez utiliser des outils en ligne qui génèrent un sitemap à partir des URL de votre site. (ex : xml sitemaps)

Enfin, si votre site a été créé via un CMS récent, votre sitemap est probablement déjà créé automatiquement, idem si votre site a été créé par une agence.

Votre fichier sitemap se met alors automatiquement à jour lorsque vous créez de nouvelles pages.

Avec la Google Search Console, ce super outil Google vous permet de soumettre facilement votre sitemap à Google.

Si vous n’utilisez pas encore cet outil on vous explique ici : comment utiliser la Google Search Console (spoiler : c’est super facile) 

Une fois connecté à la Search Console, il suffit de vous rendre dans l’onglet sitemap et d’y ajouter le lien vers votre fichier xml.

Lors de la mise en ligne d’un nouveau site ou lors d’une refonte, le sitemap est un outil précieux pour aider Google à découvrir toutes les URL de vos nouvelles pages !

Il indique clairement et simplement où se situent les pages importantes de votre site. Si certaines de vos pages se trouvent à des niveaux un peu profonds, le sitemap aide Google à les trouver plus facilement.

Il favorise ainsi l’indexation des pages de votre site.

Les données structurées ou « structured data » sont un format normalisé de donnés qui permettent de mettre en avant certaines informations concernant le contenu d’une page web.

Ces données peuvent s’ajouter au code html d’une page web via un script JSON-LD.

Elles suivent le modèle schema.org.

Voilà un aperçu du code html d’une page qui intègre des données structurées :

Ces données structurées sont utilisées par Google dans ses résultats enrichis (ou rich snippet).

Les résultats enrichis correspondent aux images, titres et autres informations mises en avant directement dans les résultats de recherche.

L’extrait de code montré au-dessus, indique des données structurées d’une recette de cuisine.

Voici un exemple de résultats enrichis affichées grâce à ce type de données :

Il existe de nombreux types de données structurées, voici quelques-unes des plus utilisées :

• Products (spécifiques aux « produits »)
• Organization (Spécifiques à l’entreprise)
•  Recipes (Spécifiques aux recettes)
• Article (spécifiques aux articles)
• BreadcrumbList (spécifiques aux fils d’ariane)

Chaque type de données structurées se décline sous la forme de lignes de codes au format schéma.org. (Modèles sont disponibles sur le site : schema.org)

Google vous permet aussi de générer facilement des données structurées grâce à son outil d’aide au balisage. 

Il faudra ensuite ajouter le code généré dans le code HTML de votre page web.

Les données structurées doivent être intégrées dans la section head de votre page web.

Pour cela il faut utiliser un script de type JSON-LD.

Si vous avez créé votre site à partir d’un CMS, il existe de nombreux plug in pouvant vous assister dans l’ajout des données structurées à votre site.

Si votre site a été créé par une agence ou un développeur en freelance, vous devrez traiter directement avec lui pour qu’il ajoute vos données aux codes html de vos pages.

Les données structurées aident Google à mieux comprendre le contenu de vos pages.

Grâce aux données structurées, Google génère des résultats enrichis qui favorisent une expérience utilisateur optimale. 

C’est pourquoi les pages intégrant des données structurées ont plus de chance d’être intégrées à son index.

Alors ne vous en privez pas !

Une « balise canonical » est un morceau de code qui s'ajoute la section head d’une page web.

On utilise les balises canoniques quand une page existe sous plusieurs URL différentes ou bien s’il existe sur un site des pages avec des contenus très similaires.

Cela arrive souvent sur les sites e-commerce lorsqu’un produit est disponible dans plusieurs catégories, ou bien lorsque les filtres de recherche génèrent plusieurs URL pour une même page.

Pour ajouter des balises canoniques il faut avoir accès au code html de vos pages.

Il faudra ensuite ajouter dans la partie « head » des pages présentant le contenu en double, la balise suivante : <link rel = « canonical » href = « [URL de la page officielle] » />

Par exemple : <link rel = « canonical » href = « https://point-web.fr/article/ » />

Si vous n’avez pas accès au code html de vos pages je vous conseille de demander conseil à votre agence web.

Si votre site a été développé sur WordPress, il existe des plug in vous permettant d’ajouter les balises canoniques à vos pages. (ex : plug in SEO Rank Math)

Vous vous rappelez quand on parlait de « budget crawl » ? Et bah c’est encore une fois un moyen d’optimiser au maximum l’exploration de vos pages.

Si vous avez plusieurs pages de contenus en double et que vous n’avez pas ajouté de balise canonique, alors les robots de Google vont explorer ces pages, déterminer que l’une d’entre elle est une copie et ne vont pas l’indexer. Ils choisiront eux-mêmes la version canonique de la page et cela peut ne pas être la « bonne ».

De plus l’exploration des pages en double aura fait perdre du temps aux robots de google et aura dépensé le budget crawl des robots sur des pages sans intérêt plutôt que de l’utiliser pour explorer vos autres pages pertinentes.

Il est donc très important d’intégrer ces balises pour favoriser au maximum l’indexation de vos pages.

Aujourd’hui, avoir un robot txt, un sitemap et des données structurées sur vos pages sont un très bon point, mais ils ne vous garantiront pas d’être indexé par Google.

Parfois, google peut crawler votre page et choisir de ne pas la rentrer dans son index. C’est là que la qualité de vos contenus est remise en cause.

Si la notion de contenu de « qualité » vous semble floue, voici quelques précisions sur les critères d’évaluation de Google face à vos contenus.

Parmi les bonnes pratiques énoncées par Google voici les points sur lesquels vous devez être attentif

- La fiabilité de vos informations
- Votre légitimité à traiter d’un sujet
- L’unicité et l’originalité de chacun de vos contenus (oubliez les copier/coller)
- La sécurité du site web
- Les fautes d’orthographe
- La pertinence du contenu par rapport aux besoins de vos cibles
- L’originalité de l’angle utilisé pour traiter d’un sujet
- La valeur ajoutée de vos contenus face aux autres contenus sur le web
- Le nombre d’annonces qui peuvent perturber la lecture
- Ne pas traiter les choses de manière trop superficielle

En fait le plus important pour que vos contenus soient identifiés comme des contenus de qualité, c’est qu’ils répondent au mieux aux besoins de vos cibles.

Pour produire des contenus pertinents il faut alors que vous ayez une très bonne connaissance de vos cibles et de leur besoin.

Une fois que vous savez ce qu’attendent vos cibles il « suffit » de rédiger un contenu suffisamment complet qui apporte une véritable expertise sur le sujet traité.

Si vous répondez à leur question en copiant des contenus existants sur le web, alors vous n’avez pas de valeur ajoutée et Google risque de ne pas vouloir indexer votre page.

Idem si le contenu de plusieurs pages de votre site sont très similaires.

Pour trouver les pages de votre site que Google n’a pas voulu indexer pour cause de « mauvaise qualité », il vous suffit de vous rendre dans la Google Search Console.

Il faut ensuite aller dans l’onglet « Index » puis « Pages » puis dans le tableau trouver la ligne « Explorée, actuellement non indexée »

Les URL listés correspondent alors aux pages explorées par les robots de Google sans être indexées.

Ce qui signifie que pour une ou plusieurs raisons, google a estimé que ces pages n’étaient pas assez intéressantes pour ses utilisateurs.

Je vous conseille donc de reprendre le contenu de ces pages pour en améliorer leur qualité.

Comme évoqué plus haut, la qualité de ses pages de résultats est le nouveau fer de lance de Google et ses exigences sont de plus en plus forte.

C’est pourquoi la qualité de votre contenu reste une chose primordiale à travailler pour favoriser l’indexation des pages de votre site. (Si ce n’est en réalité le point le plus important)

L’erreur qui est très souvent faite par les propriétaires de site, est de ne pas ajouter de nouveau contenu à leur site web.

Ils rédigent beaucoup de texte à un instant T, pour le lancement du site, puis attendent simplement d’être contacté.

C’est très problématique car rappelez-vous que Google a pour objectif de fournir les meilleurs résultats à une requête. Et qui dit "meilleur résultat" dit aussi "le plus actuel".

De plus, si vous n’ajoutez pas de nouveau contenu à votre site régulièrement, les robots de google vont considérablement espacer leur visite.

Imaginez si vous lisiez un journal dans lequel se trouvent toujours les mêmes actualités, vous arrêteriez de le lire non ? C’est pareil pour Google !

Ce qui signifie que lorsque vous créerez de nouvelles pages, elles ne seront pas détectées avant un long moment, car elles devront attendre la prochaine visite des robots.

A l’inverse si vous créez souvent des nouvelles pages de contenus et que les robots de Google détectent des nouveautés à chaque passage, ils adapteront leur rythme de visite. Vos pages seront donc indexées beaucoup plus rapidement.

C’est pourquoi la question de rythme est très importante, et qu’il vaut mieux ajouter peu de contenu régulièrement plutôt que beaucoup de contenu d’un coup et ne plus le faire pendant des semaines ou des mois.

Dans le cadre d’un site e-commerce, il y a évidemment les nouveaux produits que vous pouvez ajouter régulièrement.

Dans le cadre d’un site vitrine la tache peut s’avérer plus compliqué car vos services ne changent probablement pas toutes les semaines !

Et cela n’aurait pas de sens de modifier les contenus de vos pages fixes trop souvent car cela n’aiderait pas à maintenir un positionnement durable sur les mots clés ciblés.

En revanche, la plupart des sites possèdent une partie « Actualités » ou « Réalisations ». Ce sont ces pages qui vous permettront d’ajouter régulièrement des nouveaux contenus.

Alors définissez une stratégie de contenu, établissez un calendrier éditorial et publiez vos nouvelles pages à un rythme régulier !

Le Black Hat SEO correspond à toutes les méthodes de manipulation des moteurs de recherche interdites par Google qui visent à favoriser le référencement d’un site web.

L’ajout massif de mot clé dans vos contenus fait partie des techniques réprimandées par Google. Si vos textes répètent de manière soutenue le même mot clé dans le but positionner votre page dans les résultats de Google. Cela n’est vraiment pas bon pour l’indexation de votre page. 

Si vote site utilise des méthodes de génération de contenu automatique, alors les pages aux contenus créés artificiellement ont de forte chance de ne pas être indexées. 

Si vos pages contiennent des textes cachés comme du contenu blanc sur fond blanc ou du texte positionné trop haut sur la page pour qu’il s’affiche visuellement, alors vous utilisez des techniques réprimées par Google. 

Encore une fois, tout est une question de qualité. Google ne cautionne pas ces techniques car elles n’apportent pas de contenu qualitatif à ses utilisateurs. Elles visent à tromper l’algorithme et elles ne respectent pas les bonnes pratiques énoncées par le moteur de recherche.

C’est pourquoi les sites qui utilisent ces techniques sont fortement réprimandés.

Ils le sont à la fois au niveau de l’algorithme, avec un déclassement des pages, mais également par Google qui peut appliquer des actions manuelles qui ont pour conséquences la désindexation de toutes les pages d’un site web.

Il ne vaut donc pas prendre le risque !

Un serveur web a pour mission de stocker les pages web afin de les rendre accessible aux navigateurs et aux robots d’indexation.

L’accès à votre site internet dépend alors du serveur sur lequel il est hébergé.

Un serveur se trouve chez un hébergeur web. C’est l’hébergeur qui configure ses serveurs et qui les louent à ses clients.

Il existe deux grands types de serveur :

- Le serveur mutualisé
- Le serveur dédié

En fonction du type de serveur choisi, les performances seront plus ou moins bonne.

Un serveur mutualisé héberge plusieurs site internet. Tous les sites partagent alors les performances du même serveur.

C’est la solution la plus économique mais elle présente des inconvénients.

Si un des sites reçoit beaucoup de trafic, les ressources du serveur seront sollicitées et votre site internet subira des lenteurs.

Un serveur dédié est un serveur mis à disposition uniquement pour votre site internet.

C’est la solution la plus coûteuse mais la plus performante.

Cela permet de bénéficier entièrement des ressources du serveur et de le configurer en fonction de vos besoins.

Il existe aussi d’autres solution d’hébergement comme le VPS (Virtual Private Server) et l’hébergement Cloud.

Le choix de votre hébergement web est déterminant, du point de vue de l’expérience utilisateur (qui impacte aujourd’hui votre référencement) mais aussi du point de vue de l’indexation de vos pages.

Lorsque les robots de Google crawlent votre site ils vont consulter un certain nombre de page en très peu de temps. Si votre serveur n’est pas assez performant ils risquent d’être surchargé.

En cas de surcharge du serveur, les robots de Google stoppent leur exploration et quittent le site.

Certaines pages risquent alors de ne pas être indexées.

Pour savoir si votre serveur pose problème dans l’indexation des pages de votre site, alors vous pouvez consulter la Google Search Console. (oui encore elle, mais on a oublié de préciser qu'elle faisait partie des outils google indispensable dans le référencement de votre site).

Pour cela il faut vous rendre dans l’onglet « Paramètres », puis « Statistiques d’exploration » , cliquer sur « ouvrir le rapport » et cliquer sur « Etat de l’hôte ».

Cliquez pour dérouler « connectivité du serveur » et observez le graphique :

Ce graphique vous indique jour par jour le pourcentage d’exploration ayant échoué à cause du serveur.

Si votre taux d’échec est élevé, je vous conseille d’opter pour un serveur plus performant !

Vous l’aurez compris, Google est désormais intransigeant sur la qualité des sites qu’il référence dans son index. Le travail qu’effectue les robots d’exploration est colossale et il est plus qu’essentiel de vous faire bien voir !

Voici ce qu’il faut retenir :

1) Optimiser votre robot txt
2) Soumettez votre sitemap à Google
3) Intégrez des données structurées à vos pages
4) Ajouter des balises « canonical » pour indiquer les URL canoniques
5) Soyez intransigeant sur la qualité de vos contenus
6) Ajoutez régulièrement des nouveaux contenus à votre site
7) N’utilisez pas de techniques de black hat SEO
8) Misez sur un serveur web performant

Si tous les éléments cités au-dessus sont un peu trop (ou beaucoup trop) techniques pour vous ou que vous n’avez pas le temps de gérer tous ces aspects. Alors faites appel à une agence web qui se chargera de vous fournir un service web complet !

Psst il parait que sercopointweb est une super agence ;)