Logo


Xanetiz > Webmasters > Les fichiers robots.txt et sitemap.xml

Top

Les fichiers robots.txt et sitemap.xml

Les fichiers robots.txt et sitemap.xml


4 414 vues

Partager

Le fichier robots.txt

Pour que les pages Internet soient indexées, il faut que des programmes, les robots, parcourent le net à la recherche de pages inconnues ou modifiées à ajouter au moteur. Quand celui-ci parcourt votre site, la première chose qu'il recherche est un fichier texte : robots.txt.

Ce fichier permet de donner des ordres aux robots. Vous pouvez leur dire s'ils ont le droit d'accéder à votre site et s'ils peuvent l'indexer en entier ou une page précise. Pour cela, il y a deux commandes : User-agent et Disallow.

La première, User-agent, permet de préciser les robots autorisés. Il peut prendre plusieurs formes :

Disallow permet de déclarer les pages que l'on ne veut pas que le moteur indexe. Il peut être utilisé comme cela :

Vous pouvez utiliser plusieurs commandes Disallow à la suite. Elles doivent chacune être placées sur une seule ligne. Le fichier robots.txt doit ensuite être inséré à la racine de votre site.

Le robots.txt de Xanetiz :

Les fichiers robots.txt et sitemap.xml

Google met à disposition un outil de génération automatique de fichier robots.txt sur son site dans la partie Outils pour les webmasters :

Les fichiers robots.txt et sitemap.xml

Le fichier sitemap

Vous pouvez également utiliser la commande Sitemap pour indiquer l'adresse absolue d'un fichier XML sitemap sur votre site. Cela peut donner :

Sitemap: http://www.site.com/sitemap.xml

Le sitemap est un simple fichier texte qui répond à la norme XML et qui contient tous les liens de votre site pour permettre à Google d'y accéder plus facilement.

Celui de Xanetiz se trouve à cette adresse : http://www.xanetiz.com/sitemap.xml. Voilà à quoi ressemble les premières lignes :

Les fichiers robots.txt et sitemap.xml

Dans les outils pour webmasters, vous pouvez également utiliser la fonctionnalité qui vérifie que votre robots.txt est valide et que le sitemap est bien détecté. Vous obtiendrez le nombre d'URL ajoutées dans le moteur.

Les fichiers robots.txt et sitemap.xml

Pour résumer

Titre Vu Date
Obtenir un nom de domaine gratuitement Obtenir un nom de domaine gratuitement 6 918 22/02/10
Gagner de l'argent sur Internet Gagner de l'argent sur Internet 4 404 14/03/10
Créer un logo automatiquement et gratuitement Créer un logo automatiquement et gratuitement 13 233 18/02/10
Acheter et vendre un nom de domaine Acheter et vendre un nom de domaine 4 316 19/03/10
La sémantique en XHTML La sémantique en XHTML 3 613 13/02/10

StatistiquesNombre d'inscrits : 174
Dernier membre : stiv68
Visiteurs en ligne : 3
Membres en ligne : Aucun

Copyright © 2016 Xanetiz.com - Tous droits réservés

Hebdotop