Le SEO est par essence même dépendant des moteurs de recherche et notamment de Google. Il est donc impératif que ce dernier comprenne parfaitement votre site internet. Pour ce faire, il existe deux outils complémentaires que sont le robots.txt et le sitemap.xml. Nous allons nous intéresser dans cet article au robots.txt, à quoi sert-il, où le placer ainsi que les règles principales.
Qu’est-ce qu’un robots.txt ?
Un robots.txt est un protocole d’exclusion destiné aux robots d’exploration, concrètement, il s’agit d’un fichier sur lequel vous autorisez ou non certains robots à explorer votre site ou des pages (urls) en particulier. Exemple, vous ne souhaitez pas que vos fichiers PDF soient indexés, vous pouvez l’indiquer. Sachez que le robots.txt est l’un des premiers fichiers analysés par les Googlebot, il est donc très important.
Comment se contruit un robots.txt ?
Le fichier robtos.txt doit être en langage ASCII ou UTF-8 standards, l’outil Notes sur PC fait l’affaire par exemple. Ensuite, vous donnez des directives pour les différents robots (Google, Bing… ou des outils type Majestic, Ahref…) en nommant le robots avec User-agent: et dessous, la commande (Disallow: si souhaitez exclure).
Exemple, vous souhaitez que les robots ne passent pas sur une url (l’url de connexion WordPress par exemple), vous mettez :
User-agent: *
Disallow: /wp-admin/*
La 1ère ligne veut dire que vous autorisez “tous les robots” (représenté par l’étoile) à passer sur votre site et la 2nde ligne veut dire que vous lui interdisez l’accès à “tout ce qui suit l’url mentionnée”.
Attention, il est tout à fait possible que vous indiquiez ici une url mais qu’elle se retrouve indexée sur Google, vérifiez bien qu’elle n’a pas de lien depuis l’interne (maillage interne) ou l’externe (backlink).
Nous conseillons de mentionner le sitemap dedans sur le format :
Sitemap: https://www.votre-site.Fr/sitemap.xml
Si vous souhaitez générer un fichier robots.txt, vous pouvez utiliser http://tools.seobook.com/robots-txt/generator/ ou, si vous avez un site sous WordPress, le plugin Yoast SEO permet de le modifier (SEO >> Outils puis Editeur de fichiers)
Où se trouve le robots.txt sur son site ?
Le fichier robots.txt se met à la racine de son site internet, il suffit de taper https://www.votre-site.fr/robots.txt pour voir si vous en avez un. Si vous collaborez avec une agence SEO, le robots.txt sera forcément réalisé, par contre, c’est moins vrai avec une agence web, d’où l’intérêt d’avoir une double casquette comme TG Web. Sachez que lorsque nous réalisons un audit SEO, le robots.txt fait partie des points abordés.
Contactez-nous pour échanger sur votre projet web contact[@]tgweb.fr
Yohann | Expert SEO