Logo


Xanetiz > Webmasters > Les fichiers robots.txt et sitemap.xml

Top

Les fichiers robots.txt et sitemap.xml

Les fichiers robots.txt et sitemap.xml


4 347 vues

Partager

Le fichier robots.txt

Pour que les pages Internet soient indexées, il faut que des programmes, les robots, parcourent le net à la recherche de pages inconnues ou modifiées à ajouter au moteur. Quand celui-ci parcourt votre site, la première chose qu'il recherche est un fichier texte : robots.txt.

Ce fichier permet de donner des ordres aux robots. Vous pouvez leur dire s'ils ont le droit d'accéder à votre site et s'ils peuvent l'indexer en entier ou une page précise. Pour cela, il y a deux commandes : User-agent et Disallow.

La première, User-agent, permet de préciser les robots autorisés. Il peut prendre plusieurs formes :

Disallow permet de déclarer les pages que l'on ne veut pas que le moteur indexe. Il peut être utilisé comme cela :

Vous pouvez utiliser plusieurs commandes Disallow à la suite. Elles doivent chacune être placées sur une seule ligne. Le fichier robots.txt doit ensuite être inséré à la racine de votre site.

Le robots.txt de Xanetiz :

Les fichiers robots.txt et sitemap.xml

Google met à disposition un outil de génération automatique de fichier robots.txt sur son site dans la partie Outils pour les webmasters :

Les fichiers robots.txt et sitemap.xml

Le fichier sitemap

Vous pouvez également utiliser la commande Sitemap pour indiquer l'adresse absolue d'un fichier XML sitemap sur votre site. Cela peut donner :

Sitemap: http://www.site.com/sitemap.xml

Le sitemap est un simple fichier texte qui répond à la norme XML et qui contient tous les liens de votre site pour permettre à Google d'y accéder plus facilement.

Celui de Xanetiz se trouve à cette adresse : http://www.xanetiz.com/sitemap.xml. Voilà à quoi ressemble les premières lignes :

Les fichiers robots.txt et sitemap.xml

Dans les outils pour webmasters, vous pouvez également utiliser la fonctionnalité qui vérifie que votre robots.txt est valide et que le sitemap est bien détecté. Vous obtiendrez le nombre d'URL ajoutées dans le moteur.

Les fichiers robots.txt et sitemap.xml

Pour résumer

Titre Vu Date
Créer un logo automatiquement et gratuitement Créer un logo automatiquement et gratuitement 13 052 18/02/10
Gagner de l'argent sur Internet Gagner de l'argent sur Internet 4 347 14/03/10
Gérer son référencement avec Google Gérer son référencement avec Google 4 203 25/02/10
Obtenir et configurer des liens de site avec Google Obtenir et configurer des liens de site avec Google 3 210 21/02/10
Créer un site web avec et sans logiciel Créer un site web avec et sans logiciel 4 089 11/03/10

StatistiquesNombre d'inscrits : 174
Dernier membre : stiv68
Visiteurs en ligne : 1
Membres en ligne : Aucun

Copyright © 2016 Xanetiz.com - Tous droits réservés

Hebdotop