Question sur l'importance des robots.txt

j'ai une question où toutes les réponses que j'ai sont différentes, donc je me tourne vers le forum.

Qu'elle est l'importance des robots.txt ?
Influent-ils sur le référencement ?
Permettent-ils uniquement de dire aux robots des moteurs de recherche quel page ou dossier il ne faut pas visiter ?

Donnez moi svp toute les infos dessus histoire que je sois sur de ce que j'avance ! mdr

Ca sert juste à informer le robot du moteur de recherche de ce qu'il peut indexer ou pas. On peut également lui indiquer l'adresse d'un sitemap.
robots.txt est une norme défini par GYB (Google Yahoo et Bing). Ca veut dire que certains moteurs n'en tiennent pas compte pour crawler.

Comme l'a dit JC, le robots.txt sert essentiellement à 2 choses: indiquer les pages/répertoires à exclure de l'indexation (en pouvant préciser en fonction du robots du moteurs de recherche, donc différencier entre le Google, Yahoo ou autres...) mais également à signaler l'emplacement du sitemap.xml.

Par contre là où je ne suis pas d'accord c'est l'origine du robots.txt qui remonte à bien avant Google, ce document retranscris sur [Vous devez être inscrit et connecté pour voir ce lien] et ce doc est un [Vous devez être inscrit et connecté pour voir ce lien]... Google n'était pas encore là ;-)

EDIT: encore plus simple : [Vous devez être inscrit et connecté pour voir ce lien] ^^


La majorité des moteurs (si ce n'est pas la totalité) prend en compte ce format, je pense que JC tu as confondu avec le Sitemap.xml ;-)

Notez tout de même que même une page ayant un noindex dans son header, et interdite par le robots.txt peut être indexée par Google, pour cela par exemple faite de cette URL non indexable une redirection 302...