Avant qu'une page ne se positionne, Google doit franchir trois étapes avec elle : la découvrir, l'explorer, puis décider de l'indexer. Le SEO technique, c'est l'art de fluidifier ce parcours, de repérer où il se grippe et de le corriger.
Cette rubrique regroupe les guides transversaux d'IndexProbe sur le crawl et l'indexation. Là où la rubrique Statuts d'indexation Google Search Console décortique chaque état du rapport une ligne à la fois, ces guides prennent le sujet par la mécanique : comment Google découvre vos URLs, à quel rythme il les explore, et pourquoi certaines n'atteignent jamais l'index.
Découverte et soumission
Soumettre son site à Google
De la demande d'indexation à la vérification. Pourquoi soumettre ne garantit rien, comment déclarer proprement un sitemap, les vraies limites de l'outil d'Inspection d'URL, et comment confirmer ce que Google a réellement indexé.
Budget de crawl et fréquence d'exploration
Budget de crawl : est-ce vraiment votre problème ?
Un vrai levier SEO, mais pas pour tous les sites. Pour qui le budget de crawl compte réellement, pourquoi le seuil se situe bien plus bas que le million de pages annoncé par Google, et comment repérer, URL par URL, où le budget se dilue.
Erreurs de crawl et codes HTTP
Corriger les erreurs 404 dans la Google Search Console
Toutes les 404 ne se valent pas, et toutes ne se corrigent pas de la même façon. Distinguer les 404 légitimes des liens cassés à réparer, et traiter le volume sans y passer ses journées. (Ce guide est aussi rattaché à la rubrique Statuts d'indexation GSC.)
À venir dans cette rubrique
Le SEO technique du crawl et de l'indexation ne s'arrête pas là. Plusieurs guides sont en préparation : la navigation à facettes et l'explosion d'URLs qu'elle génère, la pagination et la canonical auto-référente, le rendu JavaScript et les single-page apps face à l'indexation, le contenu dupliqué sur les sites e-commerce, et un guide de décision pour trancher entre canonical, noindex, robots.txt ou 404 selon la situation.
Les pièges d'indexation propres à chaque CMS font l'objet d'une rubrique dédiée : Pièges d'indexation par CMS.
Pourquoi ces guides comptent
Un problème de crawl ou d'indexation ne se voit pas à l'œil nu : une page peut sembler parfaite et rester hors de l'index pendant des semaines. La seule source fiable est le verdict officiel de Google, page par page. Le vérifier à la main dans la Search Console, une URL à la fois, ne tient pas à l'échelle. C'est précisément ce que fait IndexProbe : la version en masse de l'outil d'Inspection d'URL, qui interroge l'API officielle de la Search Console pour toute la liste d'URLs que vous fournissez ou constituez depuis la GSC, avec le statut d'indexation, le motif de non-indexation et la date du dernier crawl pour chacune.
Questions fréquentes
Quelle différence entre crawl et indexation ?
Le crawl (ou exploration) est la visite de Googlebot qui lit la page. L'indexation est la décision de Google de la conserver dans son index. Une page peut être crawlée sans être indexée : Google l'a lue, mais n'a pas jugé utile de la retenir. Les deux étapes sont distinctes, et un problème peut survenir sur l'une comme sur l'autre.
Par où commencer un audit SEO technique ?
Par le rapport « Indexation des pages » de la Google Search Console, qui montre combien de vos URLs sont indexées et pourquoi les autres ne le sont pas. C'est le point de départ : il oriente vers le bon guide, qu'il s'agisse d'un problème de découverte, de budget de crawl, d'erreurs HTTP ou de doublons.
Ces guides s'adressent-ils aux petits sites ?
En partie. Certains sujets, comme la soumission ou les erreurs 404, concernent tous les sites. D'autres, comme le budget de crawl ou la navigation à facettes, ne deviennent des enjeux réels qu'à partir d'un certain volume d'URLs. Chaque guide précise clairement pour qui le sujet est pertinent, sans dramatiser inutilement.