Comment fonctionne le duplicate content ?

Pour comprendre plus en détail le fonctionnement le moteur de recherche de Google, nous allons étudier dans ce cours comment un moteur de recherche peut détecter qu’un contenu est dupliqué.

Temps de lecture estimé : 4 minutes

Qu’est-ce que le duplicate content ?

Tout d’abord nous pouvons distinguer la duplication totale et la duplication partielle de contenu :

  • Duplication totale : Elle se produit lorsqu’un même contenu est accessible depuis 2 urls différentes (DUST, pour Duplicate Url Same Texte).
  • Duplication partielle : Elle se produit avec 2 urls qui contiennent en partie un pourcentage de contenu identique (Near duplicate).

Ces 2 cas de figure peuvent se produire que la duplication de contenu soit interne à un même site ou externe (entre 2 sites différents).

Dans tous les cas le crawler détectera cette duplication et en fonction de différents signaux (URL de la première indexation de ce contenu, autorité du site …), jugera de l’URL à garder et proposer dans ses résultats de recherche.

John Mueller a indiqué sur Twitter que Google ne considérait pas comme duplicate content les traductions d’un contenu dans une autre langue.

Cela dit, l’aspect légal de cette démarche est une autre histoire.

Duplicate content lors de la traduction d'un contenu dans une autre langue.
John Muller indique qu’il n’y a pas de duplicate content lors de la traduction d’un contenu dans une autre langue.

Pour éviter des problèmes d’indexation, il est préférable d’éviter d’avoir des contenus ayant un taux de duplication élevé (supérieur à 70%) entre des contenus internes.

Détecter et calculer le taux duplicate content

Quand détecter le duplicate content ?

Afin de limiter les coûts, c’est lors du crawl qu’un contenu peut être détecté comme étant un contenu dupliqué, ce qui permet au moteur de recherche d’éviter d’indexer un contenu sans valeur ajoutée.

Illustration d'un procédé de détection de documents en double sur la base du contenu d'un document
Illustration d’un système d’exploration du web pour le traitement de pages web explorées.

Source : Representative document selection for sets of duplicate documents in a web crawler system (19/07/2011) par Daniel Dulitz, Alexandre A. Verstak, Sanjay Ghemawat et Jeffrey A. Dean.

Comment calculer le taux de duplicate content ?

Il existe plusieurs méthodes algorithmiques pour calculer une score de similarité / une distance, entre différents contenus.

Mais pour analyser les contenus en limitant les ressources nécessaires pour effectuer cette tâche, un moteur de recherche va privilégier une approche visant à recoder la structure du contenu.

Pour cela, on partitionne un contenu de façon plus ou moins fine et on compare la quantité de partitions qui sont identiques entre les contenus.

Par exemple, la similarité peut être calculée grâce à la distance de Jaccard entre 2 contenus où les différentes partitions se nomment des « Shingles ».

Les shingles sont composés d’une quantité de mots (ou caractères et autres) et la définition de ce nombre de mots se note « k-shingle » ou encore « n-gram », selon divers textes que vous trouverez à ce sujet.

Puis en divisant le nombre de shingles en commun par le nombre total de shingles des contenus, nous obtenons le taux de duplication.

Grâce à ce type d’approche, lorsque le GoogleBot crawl une page, il se sert de l’empreinte du nouveau document (par exemple l’encodage des shingles) et la compare avec celles qu’il connait déjà dans son index, pour arbitrer si oui ou non il faut indexer le contenu.


Auteur :
Dernière mise à jour : 08/01/2022

Vous êtes ici : Référencime > Formation SEO gratuite en ligne pour Google > Comment fonctionne un moteur de recherche ? > Comment fonctionne le duplicate content ?

Principales sources d’informations

Menu de la formation 🧗

Formation SEO gratuite

Sous-chapitres
L’histoire des moteurs de recherche
Comment fonctionne le calcul du PageRank ?
Comment fonctionne un algorithme de learning to rank ?
Comment fonctionne l’algorithme du transition rank ?
Comment fonctionne l’algorithme Google Penguin ?
Comment fonctionne l’algorithme Google Panda ?
Comment fonctionne le duplicate content ?
Comment fonctionne l’algorithme BERT ?
Comment fonctionne le Knowledge Graph de Google ?

Chapitres
Qu’est-ce que le SEO ?
Comment fonctionne un moteur de recherche ?
Les optimisations pour les moteurs de recherche
Créer une stratégie SEO pour Google

◎ À lire
◈ En cours de lecture
◉ Lecture terminée

5/5 - (1 vote)