Dans cet article, nous discuterons des valeurs aberrantes dans les tests fractionnés SEO A/B. Nous mettrons en lumière certains des problèmes qui provoquent l’apparition de valeurs aberrantes tout en faisant des recommandations pour les traiter. c’est une indication qu’il existe des URL aberrantes dans l’ensemble de données. Le pic de trafic se produit car il y a un mauvais alignement des données.
Il existe plusieurs types de valeurs aberrantes dans les tests fractionnés SEO A/B :
- Valeurs aberrantes du trafic
- Valeurs aberrantes de saisonnalité
- Valeurs aberrantes des éléments de page
- Exclusions d’URL
Comment le trafic organique affecte-t-il les tests fractionnés SEO A/B avec des valeurs aberrantes ?
Les tests SEO A/B nécessitent qu’un groupe de pages soit divisé en deux groupes équitables (contrôle et variante) en fonction du trafic organique. Il a également fallu 100 jours de trafic organique de pré-test avant de diviser les URL en groupes de contrôle et de variantes. Chaque test nécessite un minimum de 100 000 clics sur l’ensemble d’URL faisant l’objet d’un test fractionné pour obtenir un résultat de test statistiquement significatif. Lorsque les anomalies de trafic au sein du groupe sont fractionnées, ces valeurs aberrantes du trafic sont exclues des groupes de contrôle et de variantes.
Un exemple de pics de trafic organique aberrant :
* Le modèle de 100 jours dans l’exemple ci-dessus s’exécute entre le 30 janvier 2022 et le 9 mai 2022. Bien que la période de test de 30 jours ne soit pas encore terminée, nous pouvons voir qu’il y a des problèmes avec le modèle de 100 jours précédent via le trafic pics.Lorsque nous avons des pics dans le modèle de 100 jours entre les groupes de contrôle et de variantes, cela indique que le modèle n’est pas adapté aux tests fractionnés SEO A/B en raison du trafic qui ne correspond pas. De plus, le large ombrage bleu clair nous montre que le modèle de trafic n’est pas bon.
Pertinence thématique dans les URL et la modélisation du trafic
Certains sites ont des différences de trafic en fonction des sujets, même si le modèle de page de test est le même. La différence de trafic peut créer des valeurs aberrantes. Lorsque cela se produit, nous vous recommandons d’utiliser des URL provenant de sujets similaires. Ces URL peuvent ensuite être téléchargées dans SplitSignal, où vous relancerez ensuite votre test.
Comment les valeurs aberrantes peuvent-elles se produire avec des éléments de page ?
Des valeurs aberrantes dans les éléments de page peuvent se produire lors du test d’une modification des éléments de page. Vous devez vous assurer que toutes les URL de vos groupes de contrôle et de variantes contiennent l’élément sur la page que vous souhaitez modifier. Les pages incluses qui ne contiennent pas l’élément seront considérées comme des valeurs aberrantes.
Exemple de valeur aberrante d’éléments de page :
Si nous cherchions à remplacer une balise h3 dans les articles de blog par une balise h2 dans notre test, nous ne supposerions pas que toutes les pages contiennent la balise h3. Au lieu de cela, votre équipe interne ou une agence SplitSignal approuvée doit explorer le site avec un outil tel que Screaming Frog ou Deep Crawl pour saisir l’ensemble exact d’URL dans la structure du site que vous cherchez à faire votre test qui a l’élément sur la page souhaité. Dans l’exemple ci-dessus, nous chercherions uniquement à trouver les pages de blog avec un en-tête h3 au sein de la structure du site.
Qu’est-ce qui cause les valeurs aberrantes de saisonnalité dans les tests fractionnés SEO A/B ?
Lorsque vous exécutez un test fractionné SEO avant, pendant ou après un jour férié, vous pouvez constater que vos résultats de test ont un pic de trafic en leur sein. Cela est dû aux URL associées aux vacances. Ce pic de trafic fausse les résultats du test. La clé ici est d’identifier la ou les URL en question, de les examiner pour voir si elles sont saisonnières en raison des vacances et de les supprimer du groupe de test. SplitSignal vous permet de filtrer vos pages pour exclure les pages aberrantes. Vous pouvez alors relancer le test. Si vous constatez toujours un pic de trafic, vous devrez revoir votre ou vos URL plus en détail, car certaines pages supplémentaires sont aberrantes. Répétez le processus ci-dessus.
Exemple de saisonnalité aberrante :
Dans cet exemple, nous montrerons trois tests d’un marché mondial pour la création de designs et de produits uniques avec personnalisation. :Le test a eu une taille d’effet positive de 30,7 %. Étant donné que la taille de l’effet était si importante, nous avons décidé de relancer le test pour garantir sa précision. Le test a montré un changement positif des clics réels au sein du groupe de variantes.
Essai 2 :Période : 8 octobre 2021 – 12 janvier 2022.Hypothèse : En supprimant le personnalisé au h1, nous augmenterons les clics.Analyse :Le test a eu un effet positif de taille 8,6 %. Le test a montré un changement positif dans les clics prévus au sein du groupe de contrôle. Notre test n’a changé que parce que le test n° 1 incluait le texte : personnalisé avec la balise h1. Dans le test #2, nous l’enlevions du h1.
Pourquoi avons-nous analysé les deux tests plus en détail ?
- Les deux tests fractionnés SEO A/B ont eu des résultats positifs
- Le test n° 1 a des résultats positifs pour le groupe variant
- Le test # 2 a des résultats positifs pour le groupe témoin
- Il y avait des vacances importantes entre les deux périodes : Noël, Hanoucca et le Nouvel An.
Voici ce que nous avons trouvé : Les deux groupes de test fractionnés ont eu un test positif qui nous a amenés à rechercher une URL avec une plus grande quantité de trafic pendant la période de test fractionné, mais pas dans le modèle de 100 jours avant le test. Nous avons pu pour isoler une URL : /ornaments, et cette URL a reçu un plus grand nombre de clics que les autres URL des deux groupes, et elle était liée aux vacances. De plus, dans le test n ° 1, il résidait dans le groupe de variantes et dans le test n ° 2, il résidait dans le groupe de contrôle. Étant donné que les irrégularités de trafic se sont produites lors des tests et non dans le modèle de 100 jours précédent, SplitSignal n’a pas exclu le URL. Nous avons manuellement exclu cette URL et recommencé le test une fois de plus.Essai 3 :Période : 10 novembre 2021 – 16 février 2022Hypothèse : En supprimant personnalisé au h1, nous augmenterons les clics.Clics supplémentairesPages testées*Nous avons supprimé manuellement l’URL aberrante avant d’exécuter ce test.URL visitées par Googlebot :Analyse :Ce test taille d’effet positif de 3,7 %. Pendant que ce test est toujours en cours, nous pouvons vous apporter ces résultats, car Googlebot a visité les 128 URL du groupe de variantes. Ces résultats de test se sont normalisés maintenant que l’URL saisonnière aberrante a été supprimée. Nous Sachez également que le test est statistiquement significatif car le niveau de confiance est de 96 % et qu’un niveau de confiance de 95 % ou plus est requis pour la signification statistique. Les tests 1 et 2 étaient également statistiquement significatifs. Cependant, leurs résultats ont mis en évidence des facteurs supplémentaires qui nécessitaient une analyse plus approfondie pour confirmer ces résultats. Ces facteurs nous ont finalement permis de voir l’URL saisonnière aberrante. Les tests n° 1 et n° 2 étaient faussés en raison d’une URL saisonnière aberrante.
Exclusions d’URL que SplitSignal supprime automatiquement
SplitSignal exclut les URL du trafic organique des 100 jours précédents :
- URL avec incohérence du trafic : les URL avec un trafic de clics incohérent avec les autres URL du modèle de trafic de 100 jours du pré-test sont exclues
SplitSignal fait un excellent travail pour gérer les exclusions d’incohérence du trafic, mais parfois les URL qui sont incluses n’ont pas d’incohérences de trafic dans le modèle de pré-trafic de 100 jours.
- URL redirigées – Les URL avec des redirections sont exclues de l’inclusion
- URL introuvables – Les URL introuvables sont exclues de l’inclusion.
- URL bloquées – Les URL bloquées via des méta-robots de page ou un fichier robots.txt sont exclues de l’inclusion.
SplitSignal respecte les directives d’un fichier robots.txt et des méta-robots de page, car il s’agit du même comportement que Google bot aurait.