Comment crawler un site multilingue avec Screaming Frog ?

Aujourd'hui, je te donne une petite astuce pour crawler un site multilingue au complet avec Screaming Frog.

Préambule

Attention, je pars ici du principe que depuis l'URL de départ, Screaming Frog peut accéder à chacune des versions multilingues :

• soit via un lien hypertexte

• soit via une balise hreflang

• soit via le sitemap XML

Configuration n°1 : 1 langue = 1 répertoire

Exemple :

• https://www.playstation.com/fr-fr/
• https://www.playstation.com/en-gb/
• https://www.playstation.com/es-es/

Ici, ça ne pose pas de problème. Screaming Frog pourra parcourir tous les sous-dossiers (sous réserve de ce que j'ai mentionné en préambule).

Aucune configuration supplémentaire à prévoir.

Configuration n°2 : 1 langue = 1 sous-domaine

Exemple :

• https://fr.wikipedia.org/
• https://en.wikipedia.org/
• https://es.wikipedia.org/

Dans cette configuration, il faut bien penser à cocher "All Subdomains" avant de lancer le crawl.

En effet, par défaut, le crawler ne suit que les liens du sous-domaine "de départ". Tout lien vers un autre sous-domaine est donc considéré comme un lien externe.

Configuration n°3 : 1 langue = 1 site web

Exemple :

• https://www.adidas.fr/
• https://www.adidas.co.uk/
• https://www.adidas.es/

Là, c'est un peu plus tricky.

S'il existe une version de site par extension, qu'elles sont toutes liées entre elles et que tu souhaites crawler toutes les URLs de tous les sites, alors il faudra effectuer la manipulation suivante :

• aller dans Configuration > Spider > Crawl
• cliquer sur CDNs
• ajouter chacune des versions

Avant de valider, tu peux vérifier si le paramétrage correspond bien au comportement attendu en renseignant les champs "Start URL" et "Test URL".

À noter que dans cette configuration, les liens entre les différentes versions seront considérés comme des liens internes.

Pratique donc pour faire un audit global mais à garder en tête lors de l'analyse du maillage interne.

Et voilà !