Episode 4 : Sitemaps (based on a true story)

résumé des épisodes précédents :

bot dit le crawler récupère des pages sur le web en les suivant de lien en lien. il se démène ainsi de site en site en suivant les meilleurs liens. il essaie d'imiter son maître le grand humphrey bogart qui lui, suit toujours la bonne piste. ce n’est pas le genre de type à se laisser embarquer n'importe où.

mais bot est perfectionniste. il a le sentiment qu'il ne fait pas son travail à fond. quand il s'arrête de travailler sur un site qu'on lui a confié, il n’est jamais sûr d'avoir fait le tour du sujet et d'avoir récupéré l'ensemble des pages du site.

c'est le genre de trucs qui énerve son client ted dit le webmaster. lui, il aimerait qu'on s'occupe de son affaire à fond.

pour régler tout cela, bot a une idée : il va demander à ted de tout lui raconter, tout ce qu'il sait sur lui, ainsi bot pourra mieux faire son job.

bot est un type qui se tient au courant des choses et il sait que dans le milieu maintenant, on parle beaucoup de sitemaps. il va maintenant le proposer à ses clients.

la méthode est simple et sans bavure : cela consiste à mettre en place un fichier sur son site qui indique toutes les urls que son site contient ainsi que des meta-données sur ces urls comme leur fréquence de changement, etc.

ce fichier est en xml et ressemble à cela :

<urlset xmlns="http://www.sitemaps.org/schemas/sitemap/0.9">
<url>
<loc>http://www.example.com/</loc>
<lastmod>2005-01-01</lastmod>
<changefreq>monthly</changefreq>
<priority>0.8</priority>
</url>
<url>
<loc>http://www.example.com/catalog?item=12&desc=vacation_hawaii</loc>
<changefreq>weekly</changefreq>
</url>
<url>
<loc>http://www.example.com/catalog?item=83&desc=vacation_usa</loc>
</url>
</urlset>

essentiellement, une grande liste d'urls.

pour indiquer à bot où ce fichier se trouve, ted va aussi rajouter dans son fichier robots.txt, la ligne suivante :

sitemap: http://www.example.com/sitemap.xml

mais bot sait que tous ses clients ne sont pas aussi clean que ted. il sait qu'il y en a des véreux, des qui vous emmènent sur une fausse piste pour vous détourner de la défense de la veuve et de l'orphelin.

bot est un gars sympa mais faut pas lui raconter de crasses. quand on lui file une liste d'urls, il la vérifie. et si on essaye de lui refourguer des trucs en double, des trucs qui n’ont rien à voir avec la semoule, eh bien, il dit "stop bot" et passe à une autre affaire.

sitemaps est un protocole historiquement proposé par google, puis discuté par msn, yahoo et ask. il est aujourd'hui devenu un standard qui est implémenté par google, yahoo, ask et maintenant exalead depuis juillet 2007.

plus d'informations sur http://www.sitemaps.org/fr/

sébastien