L'A/B test
Un A/B test compare deux versions d'une page, d'un e-mail ou d'une annonce sur des visiteurs répartis au hasard, pour savoir laquelle fonctionne le mieux. L'idée est simple, le protocole l'est moins : sans un trafic suffisant et une taille d'échantillon calculée à l'avance, le test produit surtout du bruit. Voici la méthode, le calcul, et les erreurs qui faussent la conclusion.

Parlons de votre projet
Un rappel sous 24 h ouvrées. Sans engagement.

Par Florian BourretGérant de Happiness, consultant SEOmis à jour le 4 octobre 2026
Synthèse express
Pas le temps de tout lire ? Faites résumer cette page par :
ChatGPTPerplexityGoogle mode IAClaudeCopilotMistralGrok
Astuce : ajoutez index.md à n’importe quelle adresse du site pour obtenir sa version texte.
Ce qu'est un A/B test
Un A/B test, ou split testing, répartit aléatoirement les visiteurs entre deux versions d'un même élément : la version A, dite de contrôle, et la version B, qui porte la modification. On mesure ensuite un indicateur défini à l'avance, le plus souvent un taux de conversion, et on vérifie si l'écart observé dépasse ce que le hasard peut produire.
Plusieurs variantes de la méthode existent.
- Le test A/B classique : une seule modification, deux versions.
- Le test A/B/n : plusieurs variantes contre le contrôle. Chaque variante supplémentaire augmente le volume de visites nécessaire.
- Les tests multivariés : plusieurs éléments modifiés en même temps (titre, image, bouton), pour mesurer leurs combinaisons. Ils demandent beaucoup plus de trafic.
- Le test multi-pages : une même modification appliquée à toute une série de pages, par exemple toutes les fiches produits.
- Le test par redirection : deux pages web distinctes, avec deux adresses différentes.
L'A/B testing dans une démarche marketing
L'A/B testing vient du marketing direct, où l'on comparait déjà deux versions d'un courrier envoyées à deux moitiés d'un fichier. Le web l'a rendu bon marché : sur un site, une expérimentation se monte en quelques heures et se mesure automatiquement. En marketing digital, les tests servent trois objectifs.
- Optimiser les conversions d'une page web, d'un tunnel de commande ou d'une page de destination. C'est l'usage le plus courant, celui qu'on appelle optimisation du taux de conversion, et celui qui demande le plus de trafic.
- Trancher des décisions entre équipes : plutôt que de débattre d'un design ou d'un titre, on le soumet à l'audience réelle.
- Apprendre sur ses clients : chaque test documenté, même sans gagnant, dit quelque chose de ce qui compte pour eux.
La personnalisation, qui consiste à montrer des contenus différents en fonction du profil du visiteur, prolonge la démarche : on teste d'abord, on personnalise ensuite ce qui a fait ses preuves. Les outils de testing et de personnalisation regroupent souvent les deux fonctions.
Quand un A/B test a du sens
La question à poser avant de tester n'est pas « que tester », mais « ai-je assez de trafic ». Une expérimentation ne peut détecter un écart que si l'échantillon est assez grand, et cette taille se calcule.
Pour beaucoup de sites de PME, la réponse est non sur la page d'accueil comme sur le formulaire de contact. Ce n'est pas un échec : cela signifie que d'autres méthodes, présentées plus bas, sont plus adaptées.
Formuler de bonnes hypothèses
Les meilleures hypothèses partent des données, pas des goûts. Trois sources en fournissent l'essentiel.
- L'analyse des données de navigation : une page de destination où l'audience payante repart sans cliquer, un formulaire abandonné au troisième champ.
- L'observation de l'expérience utilisateur : enregistrements de sessions, tests avec de vrais clients, questions reçues par le service client.
- Les retours commerciaux : ce que les clients demandent au téléphone avant de commander.
Une bonne hypothèse isole une variable : un seul élément change entre les deux versions, et l'on sait pourquoi il devrait avoir un impact. Tester en même temps un nouveau titre, un nouveau design et un nouveau contenu revient à faire un test multivarié sans en avoir le trafic, et l'on ne sait plus quel changement explique les résultats. Les éléments qui touchent la décision (offre, preuve, délai) ont plus d'impact que la couleur d'un bouton CTA.
Le protocole, étape par étape
- Formuler une hypothèse. « Remplacer le bouton "Envoyer" par "Recevoir mon devis sous 48 h" augmentera les demandes, parce que le bénéfice devient explicite. » Une hypothèse se fonde sur une observation : un retour client, un enregistrement de session, une analyse des données. Les hypothèses se classent ensuite par impact attendu et par facilité de mise en place.
- Choisir la métrique principale et la variable testée. Une seule métrique, décidée avant le lancement : taux de conversion du formulaire, taux de clics sur le call to action, ventes. Les autres métriques servent de garde-fous.
- Fixer l'effet minimal à détecter. L'écart en dessous duquel le changement ne vaut pas la peine. Plus il est petit, plus l'échantillon doit être grand.
- Calculer la taille d'échantillon et la durée. Voir la section suivante.
- Lancer, et ne plus toucher à rien. Ni à la page, ni aux campagnes qui l'alimentent, ni à la répartition.
- Vérifier la répartition. Si le trafic devait se répartir à 50/50 et se répartit à 52/48 sur un gros volume, un défaut technique fausse probablement le test.
- Analyser à la date prévue, pas avant.
- Documenter l'hypothèse, les résultats et la décision, y compris quand le test ne montre rien, pour que les équipes marketing et web gardent la mémoire des tests déjà menés sur le site web.
Calculer la taille d'échantillon
Une règle approchée, citée notamment par Ronny Kohavi, Diane Tang et Ya Xu dans leur ouvrage de référence de 2020 sur les expériences en ligne, donne le nombre de visiteurs nécessaires par variante pour un risque d'erreur de 5 % et une puissance de 80 % : seize fois p(1 − p), divisé par le carré de l'écart à détecter, où p est le taux de conversion de départ.
Appliquée à quelques cas, elle donne ces ordres de grandeur, calculés avec cette formule :
| Taux de départ | Amélioration à détecter | Écart absolu | Visiteurs par variante |
|---|---|---|---|
| 2 % | +20 % (à 2,4 %) | 0,4 point | environ 19 600 |
| 3 % | +20 % (à 3,6 %) | 0,6 point | environ 12 900 |
| 3 % | +50 % (à 4,5 %) | 1,5 point | environ 2 100 |
| 5 % | +20 % (à 6 %) | 1 point | environ 7 600 |
| 10 % | +10 % (à 11 %) | 1 point | environ 14 400 |
Ces chiffres se lisent par variante : pour un test A/B, il faut le double. Un site qui reçoit 2 000 visites par mois sur la page testée, avec 3 % de conversion, mettrait plus d'un an à détecter une amélioration de 20 %. Sur un tel volume, seuls les changements à fort impact sont détectables, et ils se voient souvent sans test.
Combien de temps laisser tourner un test
La durée découle de la taille d'échantillon, avec deux règles supplémentaires.
- Des semaines complètes. Le comportement des visiteurs change entre le lundi et le dimanche. Les tests se lancent et s'arrêtent sur des cycles d'une semaine entière, deux au minimum.
- Pas de période atypique. Soldes, campagne publicitaire ponctuelle, article de presse : tout ce qui modifie le trafic pendant le test en modifie aussi la composition.
Lire les résultats d'un A/B test
L'analyse des résultats se fait à la date prévue, sur la métrique principale décidée avant le lancement. Trois issues sont possibles.
- La variante gagne nettement : on la met en place pour tous les visiteurs, puis on vérifie dans les semaines suivantes que les performances se maintiennent.
- Aucune différence détectable : la version de contrôle reste en place. Ce n'est pas un échec : l'expérimentation a montré que cet élément ne pesait pas sur la décision, et évite d'y consacrer d'autres efforts.
- La variante perd : c'est une information utile, souvent la plus instructive pour comprendre ses clients.
Les outils de testing affichent une probabilité ou un indice de confiance. Ils reposent sur des méthodes statistiques différentes selon les éditeurs ; il vaut la peine de savoir laquelle avant de lire le chiffre. Les données de conversions se recoupent ensuite dans l'outil de mesure du site, et l'impact réel se juge sur le chiffre d'affaires, pas sur la seule métrique du test. Une version qui augmente les clics sur un CTA sans augmenter les ventes n'a rien optimisé.
Les erreurs qui faussent la conclusion
- Regarder les résultats tous les jours et s'arrêter dès que l'écart paraît significatif. C'est l'erreur la plus répandue. Avec des consultations répétées, la probabilité de conclure à tort à un effet augmente nettement.
- Multiplier les métriques et les différents segments après coup, sans objectifs fixés au départ. Sur vingt comparaisons, l'une sortira « gagnante » par hasard.
- Ignorer l'effet de nouveauté. Un changement visible attire l'attention les premiers jours, puis l'effet retombe.
- Tester un détail cosmétique. La couleur du CTA est l'exemple qui circule le plus. Sur un site à faible trafic, ce type de changement ne produit pas d'écart détectable.
- Oublier le consentement. L'outil de test et la mesure ne voient que les visiteurs qui ont accepté les traceurs concernés. La population testée n'est donc pas tout le trafic.
- Changer la page pendant le test, ou la campagne qui y envoie du trafic.
Que tester en priorité
Pour optimiser les performances d'un site, les tests qui ont le plus de chances de produire un résultat lisible portent sur ce qui change la décision du visiteur, pas sur la mise en page de détail.
- L'offre elle-même : le prix affiché, la garantie, le délai.
- Le titre et la promesse de la page de destination d'une campagne.
- Le call to action : son texte, sa position, ce qu'il promet.
- La longueur du formulaire : chaque champ retiré est un frein de moins.
- La structure des fiches produits sur une boutique en ligne, où l'audience est souvent suffisante : photos, avis, informations de livraison sur chaque fiche produit.
- Les éléments qui gênent l'expérience utilisateur sur mobile : menus, fenêtres surgissantes, champs mal adaptés.
- L'objet des e-mails, à juger sur les clics plutôt que sur le taux d'ouverture, faussé depuis 2021 par la protection de la confidentialité de Mail d'Apple.
Les outils de testing
Google Optimize, l'outil gratuit que beaucoup de PME utilisaient, a été arrêté par Google le 30 septembre 2023. Les solutions actuelles se répartissent en trois familles.
- Les outils de testing et de personnalisation dédiés, comme AB Tasty et Kameleoon, d'origine française, VWO (Visual Website Optimizer) ou Optimizely. Ils sont payants, avec des tarifs liés au volume de visites, et pèsent sur le budget marketing.
- Les fonctions intégrées : la fonction d'expériences de campagne dans Google Ads, les tests d'objet dans les outils d'e-mailing, certains modules de CMS. Elles suffisent souvent pour l'optimisation des performances publicitaires.
- Les tests côté serveur, développés sur mesure, quand le site a un trafic important et une équipe technique.
Ce n'est pas un classement : la meilleure solution est celle qui s'intègre à votre CMS, à votre bandeau de consentement et à votre outil de mesure. La lecture des résultats peut se croiser avec Google Analytics 4, à condition que l'outil envoie la variante vue comme paramètre.
A/B test et référencement
Google Search Central publie des recommandations pour tester sans nuire au référencement : ne pas montrer aux robots une version différente de celle des utilisateurs, utiliser une balise canonique sur les adresses des variantes, une redirection temporaire (302) et non permanente pour les tests par redirection, et ne pas laisser tourner un test plus longtemps que nécessaire.
Quand le trafic ne suffit pas
Pour la plupart des sites de PME, d'autres méthodes de testing donnent plus d'enseignements qu'un A/B test sous-dimensionné.
- Les tests utilisateurs. Jakob Nielsen a montré en mars 2000 que cinq participants suffisent à révéler l'essentiel des problèmes d'utilisabilité d'une page. Observer cinq clients remplir un formulaire coûte peu et apprend beaucoup.
- Les enregistrements de sessions et cartes de clics, avec les précautions de consentement qu'ils imposent.
- La question posée aux clients sur ce qui les a fait hésiter.
- La comparaison avant-après, à condition de comparer des périodes équivalentes et de rester prudent : elle ne contrôle pas les autres facteurs.
Les résultats de ces démarches se suivent ensuite dans le tableau de bord, avec le cadre général rappelé sur la page de la section.
Sources
- Ron Kohavi, Diane Tang et Ya Xu, « Trustworthy Online Controlled Experiments: A Practical Guide to A/B Testing », Cambridge University Press, 2020 (règle approchée de taille d'échantillon, effet de nouveauté, contrôle de la répartition).
- Gerald van Belle, « Statistical Rules of Thumb », 2e édition, Wiley, 2008 (origine de la règle des seize).
- Arrêt de Google Optimize : aide Google Optimize, annonce de janvier 2023, arrêt effectif le 30 septembre 2023.
- Google Search Central, « Minimize A/B testing impact in Google Search », consultée le 4 octobre 2026.
- Jakob Nielsen, « Why You Only Need to Test with 5 Users », Nielsen Norman Group, 19 mars 2000.
- Apple, Mail Privacy Protection, disponible avec iOS 15 le 20 septembre 2021.
Nos guides sur ce sujet
Pour aller plus loin sur un point précis.
Dans le même cocon
On remonte à la page mère, puis on passe à la page sœur suivante. Aucun lien direct vers un autre cocon.
Questions fréquentes
Qu'est-ce qu'un A/B test ?
Un A/B test répartit au hasard les visiteurs entre deux versions d'une page, d'un e-mail ou d'une annonce, et compare une métrique définie à l'avance, comme le taux de conversion, pour savoir si l'écart observé dépasse ce que le hasard explique.
Combien de visiteurs faut-il pour un A/B test ?
Cela dépend du taux de conversion de départ et de l'écart à détecter. Avec 3 % de conversion et une amélioration de 20 % à détecter, la règle approchée de Kohavi et ses coauteurs donne environ 12 900 visiteurs par variante, soit près de 26 000 au total.
Quelle différence entre A/B test et tests multivariés ?
L'A/B test compare deux versions qui diffèrent par une modification. Le test multivarié modifie plusieurs éléments à la fois et mesure leurs combinaisons ; il demande beaucoup plus de trafic.
Google Optimize existe-t-il encore ?
Non. Google a arrêté Google Optimize le 30 septembre 2023. Il faut passer par un outil tiers ou par les fonctions de test intégrées à Google Ads et aux outils d'e-mailing.
Un A/B test peut-il nuire au référencement ?
Pas s'il suit les recommandations de Google : même contenu pour les robots et les utilisateurs, balise canonique sur les variantes, redirection temporaire, et un test limité dans le temps.
L'A/B testing est-il adapté à un petit site web ?
Rarement pour optimiser un taux de conversion : le volume de visites manque. La méthode reste utile pour des décisions à fort enjeu sur les pages web les plus visitées, ou pour des campagnes publicitaires et des e-mails, où l'audience se constitue plus vite. Pour le reste, les tests utilisateurs et l'analyse des données renseignent mieux sur l'expérience des clients.
Combien de temps doit durer un A/B test ?
Le temps d'atteindre la taille d'échantillon calculée, en semaines complètes, avec un minimum de deux semaines. Une expérimentation arrêtée dès qu'un écart apparaît n'a pas de valeur.