Logo


Xanetiz > Webmasters > Les fichiers robots.txt et sitemap.xml

Top

Les fichiers robots.txt et sitemap.xml

Les fichiers robots.txt et sitemap.xml


8 307 vues

Partager

Le fichier robots.txt

Pour que les pages Internet soient indexées, il faut que des programmes, les robots, parcourent le net à la recherche de pages inconnues ou modifiées à ajouter au moteur. Quand celui-ci parcourt votre site, la première chose qu'il recherche est un fichier texte : robots.txt.

Ce fichier permet de donner des ordres aux robots. Vous pouvez leur dire s'ils ont le droit d'accéder à votre site et s'ils peuvent l'indexer en entier ou une page précise. Pour cela, il y a deux commandes : User-agent et Disallow.

La première, User-agent, permet de préciser les robots autorisés. Il peut prendre plusieurs formes :

Disallow permet de déclarer les pages que l'on ne veut pas que le moteur indexe. Il peut être utilisé comme cela :

Vous pouvez utiliser plusieurs commandes Disallow à la suite. Elles doivent chacune être placées sur une seule ligne. Le fichier robots.txt doit ensuite être inséré à la racine de votre site.

Le robots.txt de Xanetiz :

Les fichiers robots.txt et sitemap.xml

Google met à disposition un outil de génération automatique de fichier robots.txt sur son site dans la partie Outils pour les webmasters :

Les fichiers robots.txt et sitemap.xml

Le fichier sitemap

Vous pouvez également utiliser la commande Sitemap pour indiquer l'adresse absolue d'un fichier XML sitemap sur votre site. Cela peut donner :

Sitemap: http://www.site.com/sitemap.xml

Le sitemap est un simple fichier texte qui répond à la norme XML et qui contient tous les liens de votre site pour permettre à Google d'y accéder plus facilement.

Celui de Xanetiz se trouve à cette adresse : http://www.xanetiz.com/sitemap.xml. Voilà à quoi ressemble les premières lignes :

Les fichiers robots.txt et sitemap.xml

Dans les outils pour webmasters, vous pouvez également utiliser la fonctionnalité qui vérifie que votre robots.txt est valide et que le sitemap est bien détecté. Vous obtiendrez le nombre d'URL ajoutées dans le moteur.

Les fichiers robots.txt et sitemap.xml

Pour résumer

Titre Vu Date
Obtenir et configurer des liens de site avec Google Obtenir et configurer des liens de site avec Google 5 548 21/02/10
Créer un logo automatiquement et gratuitement Créer un logo automatiquement et gratuitement 18 594 18/02/10
Gagner de l'argent sur Internet Gagner de l'argent sur Internet 6 967 14/03/10
La sémantique en XHTML La sémantique en XHTML 6 046 13/02/10
Obtenir un nom de domaine gratuitement Obtenir un nom de domaine gratuitement 10 118 22/02/10

StatistiquesNombre d'inscrits : 227
Dernier membre : StevenMot
Visiteurs en ligne : 6
Membres en ligne : Aucun

Copyright © 2022 Xanetiz.com - Tous droits réservés

Hebdotop