Robots-txt est un fichier indispensable si vous souhaitez avoir le contrôle sur les robots d’indexation du Web.

Robots.txt : Qu’est-ce que c’est ?

Le fichier texte robots.txt permettra à votre site Internet de fournir des instructions bien déterminées aux robots assurant l’exploration du Web. Google ainsi que les autres moteurs de recherche se servent de ces robots pour parcourir et archiver des sites Internet.

De manière générale, les robots ont recherchent tout d’abord le fichier robot.txt sur le serveur d’un site, avant de procéder à une quelconque analyse. Grâce au fichier robots.txt, vous pouvez fournir des instructions spéciales concernant l’indexation et l’analyse de votre site sur WordPress par ces robots.

Le fichier robots.txt en pratique

Robots.txt dispose de nombreuses instructions pour que les robots d’exploration du Web ignorent des répertoires ou des fichiers. Vous pouvez empêcher entre autres l’analyse de chaque contenu de votre site qui ne fournit pas suffisamment de valeur pour améliorer votre classement sur Google. Il est également possible de refuser l’indexation des pages et des contenus qui contiennent des données sensibles.

J’aimerais souligner que chaque sous-domaine de votre site WordPress doit avoir son propre robots.txt, si vous en avez plusieurs. Et sachez qu’un fichier texte robots.txt n’est pas forcément accepté par tous les robots. Par ailleurs, des robots malveillants peuvent lire le robots.txt dans le but de trouver en premier les répertoires et les fichiers à cibler.

Enfin, certaines pages de votre site peuvent toujours apparaître dans les SERP même si un fichier robots.txt dit aux robots de ne pas le faire. C’est le cas si elles sont liées à d’autres pages explorées de votre site WordPress.