lpcel-vannes
Bonjour à toi visiteur !

Montre nous tes talents dans la réalisation graphique

Ceci à travers le concours pour la BANNIÈRE du FORUM.

La meilleur bannière sera élue début mars, alors profite du temps qu'il reste pour en créer une !

Ceci permettra également de définir la futur charte graphique du site !

Bon courage !

Question sur l'importance des robots.txt

Aller en bas

Question sur l'importance des robots.txt

Message  spy1664 le Mer 24 Mar - 11:13

j'ai une question où toutes les réponses que j'ai sont différentes, donc je me tourne vers le forum.

Qu'elle est l'importance des robots.txt ?
Influent-ils sur le référencement ?
Permettent-ils uniquement de dire aux robots des moteurs de recherche quel page ou dossier il ne faut pas visiter ?

Donnez moi svp toute les infos dessus histoire que je sois sur de ce que j'avance ! mdr Laughing
avatar
spy1664
Admin
Admin

Messages : 53
Date d'inscription : 15/01/2010
Age : 32

Voir le profil de l'utilisateur http://lpcel-vannes.forumactif.com

Revenir en haut Aller en bas

Re: Question sur l'importance des robots.txt

Message  newjc le Mer 24 Mar - 14:57

Ca sert juste à informer le robot du moteur de recherche de ce qu'il peut indexer ou pas. On peut également lui indiquer l'adresse d'un sitemap.
robots.txt est une norme défini par GYB (Google Yahoo et Bing). Ca veut dire que certains moteurs n'en tiennent pas compte pour crawler.

newjc

Messages : 63
Date d'inscription : 15/01/2010
Age : 32
Localisation : Lanester, Morbihan

Voir le profil de l'utilisateur http://www.mcb-fermetures.fr

Revenir en haut Aller en bas

Re: Question sur l'importance des robots.txt

Message  Stan le Ven 26 Mar - 4:40

Comme l'a dit JC, le robots.txt sert essentiellement à 2 choses: indiquer les pages/répertoires à exclure de l'indexation (en pouvant préciser en fonction du robots du moteurs de recherche, donc différencier entre le Google, Yahoo ou autres...) mais également à signaler l'emplacement du sitemap.xml.

Par contre là où je ne suis pas d'accord c'est l'origine du robots.txt qui remonte à bien avant Google, ce document retranscris sur [Vous devez être inscrit et connecté pour voir ce lien] et ce doc est un [Vous devez être inscrit et connecté pour voir ce lien]... Google n'était pas encore là ;-)

EDIT: encore plus simple : [Vous devez être inscrit et connecté pour voir ce lien] ^^


La majorité des moteurs (si ce n'est pas la totalité) prend en compte ce format, je pense que JC tu as confondu avec le Sitemap.xml ;-)

Notez tout de même que même une page ayant un noindex dans son header, et interdite par le robots.txt peut être indexée par Google, pour cela par exemple faite de cette URL non indexable une redirection 302...
avatar
Stan

Messages : 18
Date d'inscription : 30/01/2010
Age : 33
Localisation : Rennes

Voir le profil de l'utilisateur http://www.lpce-online.com

Revenir en haut Aller en bas

Re: Question sur l'importance des robots.txt

Message  Contenu sponsorisé


Contenu sponsorisé


Revenir en haut Aller en bas

Revenir en haut

- Sujets similaires

 
Permission de ce forum:
Vous ne pouvez pas répondre aux sujets dans ce forum