Au delà des autres moteurs de recherche, référencer son site Internet sur Google apparaît comme une priorité pour n’importe quel webmaster. A tel point que la création mais surtout la mise en production du site Web revêt un caractère particulier : Google va-t-il sonder mon site, le robot va t-il crawler l’ensemble des pages du site pour opérer son classement ? Pour s’en assurer, il existe plusieurs points à vérifier. Voici une petite check-list de ce qu’il faut prendre en compte.

1. L’indexation dans Google, c’est quoi ?
2. Vérifier que Google Bot peut accéder au site
3. Vérifier les balises meta noindex
4. Installer la Google Search Console
5. S’assurer des logs
6. Principes de base au lancement d’un site

Qu’est-ce que l’indexation dans Google ?

Lorsque l’on évoque le référencement naturel, on pense dans le langage courant avant tout à l’optimisation pour les moteurs de recherche. Nous vous laissons consulter ici une définition du SEO. Mais dans la pratique, il s’agit bien simplement de permettre aux différents moteurs de recherche :

1. de se rendre sur un site Internet,
2. de faciliter leur visite vers les pages et contenus souhaités (pages et contenus que l’on veut voir dans les résultats de recherche),
3. d’exclure de la visite les pages et contenus que l’on ne souhaite pas voir dans les résultats de recherche.

Lors de la mise en ligne du site Internet, l’ensemble de ces principes est généralement appelée « opération de mise à l’index ». La mise à l’index consiste donc à définir les permissions et les restrictions d’accès à tout ou partie d’un site par des robots. Ce faisant, on utilise plusieurs outils et protocoles pour réussir l’opération.

Vérifiez que GoogleBot peut accéder au site

GoogleBot est le robot crawler, ou spider le plus connu de la société américaine. Il faut savoir que ce n’est pas l’unique bot de la firme et que d’autres se promènent de site en site pour sonder et classer les pages, contenus médias, vidéos, etc. Pour simplifier la démarche d’indexation, il faut s’assurer dans un premier temps que le robots.txt du site ne restreint pas l’accès à celui-ci. Il faut donc commencer par configurer ce fichier Robots.txt à la racine de votre serveur en supprimant ce type de ligne :

User-agent: googlebot
Disallow: /

Dans l’exemple ci-dessus, est exprimé : « Pour GoogleBot », « empêcher » (Disallow:) l’accès à tous les répertoires du site (« / »). Il suffit donc d’enlever « Disallow: / » pour que GoogleBot puisse se promener (en théorie) partout ! Notez que généralement on ne se limite pas à Google (il n’y pas que Google dans la vie), on exprime donc plutôt User-agent: *

On prendra soin de restreindre l’accès à un back-office, n’est-ce pas ?

Sauf que parfois cela ne suffit pas…

Vérifiez les balises meta index de vos pages

Si vous avez suivi la première étape, en enlevant le disallow, Googlebot va pouvoir aller voir vos contenus (pouvoir seulement jusqu’ici). Mais vous avez encore la possibilité de limiter l’index des pages avec une balise appelée « meta noindex ». Il arrive que cette dernière soit par défaut présente sur certains CMS comme WordPress lors de situations de pré-productions. A vous de jouer donc pour la supprimer sur les pages que vous souhaitez voir apparaître dans les résultats de recherche.

<meta name="robots" content="noindex">

La supprimer suffit à encourager un robot de moteur de recherche quelconque à classer votre contenu. La balise typique à Google bot est :

<meta name="googlebot" content="noindex">

Après tout, libre à vous de permettre une indexation sur Bing et consorts et non sur Google