Crawl, Crawler ou crawling dans le jargon du web signifie « scanner ». Cette action consiste à explorer les pages et contenus proposés par un site internet.
Les moteurs de recherche sont équipés de crawlers pour assurer l’indexation des pages; le plus célèbre, Googlebot, explore constamment le Web.
Une fois qu’un crawl est lancé sur un site, il analyse son contenu ligne par ligne et suit chaque lien. Il continue ainsi jusqu’à ce qu’il atterrisse sur une page sans lien ou rencontre une erreur comme une page 404.
Les moteurs de recherche ont toujours scanné le Web pour le cartographier et trouver les liens entre les sites. Avoir un sitemapLe sitemap est un fichier informatique permettant aux moteurs de recherche de comprendre la structure des sites. Il transmet un maximum d’informations pour indexer correctement les pages Web par les moteurs de recherche. facilite le travail des crawlers et améliore ainsi le référencement.
Aujourd’hui le crawl est plus largement utilisé avec de nombreux outils SEO disponibles sur la toile. Cette analyse permet de connaître la structure d’un site et de résoudre ses éventuels problèmes afin d’améliorer son référencement.
Dans le cadre d’une stratégie de référencement naturel, vous pouvez faire le choix de n’indexer qu’une partie de votre site internet. Pour cela rien de plus simple, il vous suffit d’ajouter une balise « noindex » sur les pages ayant peu de contenus. Cela empêchera les moteurs de recherche de les référencer.
