Comment utiliser un crawler SEO pour détecter les erreurs

Un crawler qui tourne pour la première fois sur un site jamais audité, c'est un peu comme ouvrir le capot d'une voiture d'occasion achetée sur un coup de tête. On sait qu'il y a un problème. On ne sait pas encore où. Sur un client dont je gérais le SEO il y a deux ans, une clinique dentaire avec un site de 340 pages, le premier crawl a remonté 1 187 erreurs. J'avais prévu une demi-journée pour corriger. Il m'a fallu cinq semaines.

Voilà pourquoi je me méfie des articles qui présentent le crawl SEO comme une formalité : lancer un outil prend dix minutes, exploiter ce qu'il crache est une autre affaire. Et c'est précisément là que la plupart des gens décrochent. Ils exportent un CSV de 4 000 lignes, le laissent pourrir dans un dossier "audit_2024_def", et repartent écrire des articles de blog.

Dans ce qui suit, je vous montre comment j'utilise un crawler SEO pour détecter les erreurs — pas la liste des fonctionnalités, mais l'ordre des opérations, les réglages qui changent tout, et les pièges dans lesquels je suis tombé pour vous éviter d'y passer trois semaines.

Un crawler SEO, c'est quoi exactement ?

Le mot vient de l'anglais to crawl, ramper. Le crawler informatique, c'est un programme qui parcourt automatiquement des pages web en suivant les liens qu'il y trouve, un peu comme vous cliqueriez frénétiquement sur tout ce qui dépasse à partir d'une page d'accueil. Googlebot fait exactement ça à l'échelle d'Internet. Un crawler SEO fait la même chose, mais à l'échelle de votre site, et avec un objectif inverse : au lieu d'indexer, il diagnostique.

Vous le lancez sur une URL de départ. Il récupère la page, l'analyse, extrait chaque lien, puis recommence sur chaque lien trouvé, jusqu'à épuisement ou jusqu'à la limite que vous avez fixée. En chemin, il enregistre une foule de signaux.

Ce qu'un crawler enregistre concrètement

• Le code de statut HTTP de chaque URL (200, 301, 404, 500…)
• Les balises title, meta description, et leur longueur respective
• La présence et la valeur des balises canoniques
• Le nombre de liens internes qui pointent vers chaque page (le maillage)
• Le temps de réponse serveur, page par page
• Les directives d'indexation : noindex, nofollow, robots
• La profondeur de clic : combien de clics séparent cette page de l'accueil

Sur la clinique dentaire, c'était le croisement de deux lignes de cet export qui a tout déclenché. Une page de tarifs positionnée correctement, mais à une profondeur de clic de 7, avec 11 redirections en chaîne avant d'arriver à destination. Autrement dit : un visiteur motivé pouvait la trouver, mais le passage était tellement laborieux qu'à chaque crawl de Googlebot, une partie du signal se perdait en route.

Comment préparer un crawl SEO qui vous sert à quelque chose

La première fois que j'ai lancé un crawler sans régler quoi que ce soit, j'ai attendu 40 minutes pour un résultat illisible. Il était passé par des URL de filtres produits, des paramètres de tri, des versions de pagination à l'infini. Bref, du bruit.

Paramétrer l'URL de départ, la profondeur et l'user-agent

Trois réglages déterminent la valeur de votre diagnostic.

1. L'URL de départ : partez toujours de la racine du domaine, pas d'une page interne. Sinon vous ratez tout ce qui n'est pas lié depuis cette page.
2. La profondeur maximale : commencez large (8 à 10 niveaux de clic) pour un premier passage. Ensuite, si un problème se concentre à une profondeur donnée, relancez en limitant.
3. L'user-agent : simulez Googlebot. Certains sites servent un contenu différent selon l'agent qui se présente — un crawler générique peut donc voir une version que Google ne voit jamais.

Un quatrième point, souvent oublié : le robots.txt. Un crawler peut soit le respecter, soit l'ignorer. Respectez-le pour reproduire ce que voit Google, mais lancez un second passage en l'ignorant délibérément. C'est là qu'on découvre les pages bloquées par erreur depuis des mois.

Choisir entre crawler d'indexation, d'optimisation et de veille

Tous les crawlers ne font pas le même métier, et confondre les trois familles m'a coûté du temps.

Type de crawler	Ce qu'il regarde	Quand l'utiliser
D'indexation	Ce que les moteurs voient et indexent de votre site	Diagnostic technique ponctuel
D'optimisation	Balises, contenu, maillage interne, structure	Audit éditorial et sémantique
De veille	Les sites concurrents, leurs évolutions	Suivi marché, sans intention de correction

Je vois souvent des gens utiliser un crawler de veille pour auditer leur propre site. Ça marche, mais c'est comme tondre une pelouse avec une débroussailleuse : le résultat existe, il est juste grossier.

Le workflow de correction que j'utilise — et l'ordre compte

Un export de crawler ne se lit pas de haut en bas. Il se trie. Et le tri suit une logique de gravité, pas d'ordre alphabétique.

Étape 1 : trier par impact réel, pas par quantité

Trois familles d'erreurs méritent votre attention dans cet ordre :

• Les erreurs qui bloquent l'indexation : 404 sur des pages liées, redirections en chaîne, canoniques pointant vers le vide, directives noindex posées par accident.
• Les erreurs qui diluent le signal : contenu dupliqué, maillage interne déséquilibré, pages orphelines, ancres génériques.
• Les erreurs cosmétiques : title trop long, meta description absente, images sans attribut alt.

Sur la clinique, j'ai commencé par les 404. Trente-huit pages liées renvoyaient vers des URL inexistantes, souvent parce qu'un ancien site avait été migré sans redirections. J'ai mis en place 38 redirections 301 vers les équivalents actuels. Trois semaines plus tard, une page de contact qui plafonnait à 12 visites mensuelles en recevait 89. Pas spectaculaire. Mais c'était +640 % sur une seule URL, juste en réparant un lien.

Étape 2 : fixer des seuils de tolérance

Vous ne corrigerez pas tout, et il ne faut pas essayer. Voici mes seuils personnels :

1. Toute erreur touchant plus de 5 % des URL du site passe en priorité haute, quelle qu'elle soit.
2. Toute erreur sur une page à fort potentiel commercial (accueil, pages catégories, contact) passe en priorité haute même si elle est isolée.
3. Les balises title trop longues au-delà de 60 caractères attendent le prochain lot éditorial.
4. Les images sans alt attendent — sauf si elles portent un contenu informatif.

Étape 3 : re-crawler pour vérifier

C'est l'étape que personne ne fait, et c'est celle qui compte. Une correction non vérifiée n'est pas une correction, c'est une hypothèse.

Je relance le crawl une à deux semaines après le lot de corrections. Deux indicateurs à surveiller : le nombre d'URL en 404 côté serveur, et le nombre de redirections en chaîne. Si ça n'a pas bougé, la correction n'a pas pris.

Les pièges que personne ne vous signale

Avouons-le, un crawler ment parfois. Trois situations m'ont fait perdre un temps considérable au début.

Les faux positifs et le contenu en JavaScript

Un crawler qui n'exécute pas JavaScript voit un site amputé. Si votre menu, vos produits ou votre pagination sont chargés côté client, il vous remontera des pages vides et des liens manquants qui n'existent tout simplement pas. Vérifiez ce point avant de paniquer. La plupart des crawlers sérieux proposent un mode de rendu JavaScript — activez-le pour les sites modernes, désactivez-le pour gagner du temps sur les sites statiques.

Le budget de crawl, cette notion qu'on oublie

Le budget de crawl, c'est le nombre de pages que Googlebot accepte de visiter sur votre site dans un laps de temps donné. Un crawl SEO interne ne le mesure pas directement. Mais un maillage interne trop profond, des URL de filtres infinies ou des paramètres de tri non maîtrisés le consomment. Concrètement : chaque URL inutile explorée par Googlebot est une URL utile qui attend son tour.

Sur un site multilingue dont je m'occupais, 60 % des URL crawlées étaient des versions linguistiques d'une même page générées par un plugin mal configuré. Une fois la correction faite — balises hreflang propres et suppression des URLs orphelines — la part des vraies pages indexées est passée de 71 % à 93 % en deux mois. Sans toucher au contenu.

Alors, un crawler SEO règle-t-il vraiment les problèmes ?

Non. Un crawler SEO détecte, il ne répare pas. Il vous donne une carte des routes cassées, pas de quoi les refaire.

Ce qu'il fait très bien : vous sortir de l'aveuglement. Il transforme des suppositions ("le site a l'air correct") en données ("il y a 47 pages orphelines, 12 redirections en chaîne et 3 canoniques conflictuelles"). Ce qu'il fait mal : hiérarchiser pour vous. Il vous montre 4 000 lignes et vous laisse décider ce qui compte. C'est là que l'expérience humaine — la vôtre — devient irremplaçable.

Ma règle, si vous ne devez en retenir qu'une : lancer un crawl le jour où vous touchez à la structure, et pas seulement quand le trafic baisse. C'est un peu comme changer l'huile avant que le moteur ne fasse du bruit. Moins satisfaisant. Beaucoup moins cher.

Et si vous vous demandez ce que vaut vraiment votre site en ce moment, posez-vous une seule question : combien de ses pages sont aujourd'hui à plus de cinq clics de l'accueil ? Si vous ne savez pas répondre, vous ne savez pas encore ce que vous perdez.