Agence A/B testing e-commerce
1 000 tests en trois ans sur plus de 100 marques. On conçoit, on développe, on mesure, et on vous dit aussi quand un test ne vaut pas la peine d'être lancé.
Plus de 100 marques nous confient leur post-clic
La moitié du travail, c'est de ne pas tester
Un test a besoin de volume pour conclure. En dessous, vous n'obtenez pas un résultat, vous obtenez du bruit que vous prendrez pour un résultat. La première chose qu'on regarde, c'est si votre trafic peut payer le test que vous voulez lancer.
Souvent la réponse est non. Une page qui reçoit 5 000 visiteurs par mois et convertit à 2% produit une centaine de commandes : il faudra deux mois pour distinguer un écart de 20%, et un écart de 5% restera invisible quoi qu'il arrive. Dans ce cas, le bon geste est de changer la page plutôt que de la tester, et d'accepter de décider sans preuve chiffrée. C'est plus honnête que d'en fabriquer une.
Le coût de l'erreur inverse est sous-estimé. Un test lu trop tôt donne régulièrement un écart spectaculaire qui s'évapore ensuite, et une décision prise sur ce chiffre se propage : on refait les autres pages sur ce modèle, on réoriente les créas, on répète une erreur qu'on croit avoir prouvée.
Sous l'hypothèse nulle, regarder cinq fois les résultats d'un test donne environ 15 à 20% de chances de croiser au moins une fois un seuil de significativité. C'est pour cette raison que nos seuils de décision sont écrits avant le lancement.
Ce que l'A/B testing mesure, et ce qu'il ne dit pas
Un A/B test répartit vos visiteurs entre deux versions d'une même page, au hasard et de façon stable, puis compare ce qu'ils font. Comme les deux groupes vivent la même période, la même météo commerciale et les mêmes campagnes, la seule différence qui subsiste est celle que vous avez introduite. C'est ce qui distingue un test d'un avant-après, où tout a bougé en même temps.
Ce qu'il ne dit pas : pourquoi. Un test tranche entre deux versions, il n'explique pas le mécanisme. C'est le rôle des données de comportement, qui ont presque toujours plus de volume que les conversions et qui permettent de vérifier que la variante a bien agi là où vous pensiez.
Il ne dit rien non plus de ce que vous n'avez pas testé. Une variante peut gagner et rester très en dessous de ce qu'une troisième version aurait produit. Le test valide une direction, il ne garantit pas que c'était la meilleure.
Ce qu'on teste, dans l'ordre
Les leviers ne se valent pas. Celui-ci est notre ordre de priorité, et il explique pourquoi la couleur du bouton arrive en dernier.
L'offre
Ce que le visiteur reçoit pour son argent, et à quelles conditions. Un pack au lieu d'une unité, un essai au lieu d'un achat sec, la livraison incluse au lieu d'affichée au paiement. C'est le levier qui produit les écarts les plus larges, et c'est aussi celui que personne ne teste parce qu'il oblige à parler au reste de l'entreprise.
Le plus gros écart qu'on ait mesuré venait d'ici.
La promesse et les mots
Le titre, la première phrase, la manière dont le problème est nommé. Sur du trafic payant, ce levier compte davantage qu'ailleurs, parce que le visiteur arrive avec une attente précise créée par la publicité. Tester un titre revient souvent à tester si la page continue la bonne conversation.
Se teste vite, et se réutilise ensuite dans les créas.
L'ordre des arguments
La même page, les mêmes blocs, dans un autre ordre. On remonte ce qui décide et on descend ce qui rassure. Les données de scroll disent où les visiteurs s'arrêtent, donc quels arguments ne sont jamais lus. Déplacer une section coûte moins cher que la réécrire et bouge parfois davantage.
Le levier le moins coûteux à produire.
L'alignement avec la publicité
Est-ce que la page reprend l'angle qui a fait cliquer ? C'est le levier le plus spécifique à notre travail, et il ne se teste bien que campagne par campagne. Une même page peut très bien convertir sur un angle et s'effondrer sur un autre, ce qu'un test global ne montrera jamais.
Se lit par campagne, jamais en moyenne.
Le reste
La couleur d'un bouton, un pictogramme, l'intitulé exact d'un lien. Ces tests existent, ils sont parfois gagnants, et ils arrivent en dernier parce que leur effet se compte en fractions de point. Les faire en premier occupe un trimestre pour un résultat que le premier levier aurait produit en deux semaines.
Utile quand tout le reste a été fait.
Un test, en entier
Ce qu'on attendait, et ce qu'on a eu
Marque de lessive écologique, vente par abonnement. 26 jours, 96 968 sessions.
L'hypothèse. La page vendait un kit à l'unité. Nous avons supposé qu'une partie des acheteurs en prendrait davantage si on le leur proposait au bon moment, et que ce moment se situait juste après l'ajout au panier, quand la décision d'acheter est prise mais que le montant ne l'est pas encore. La variante ajoutait donc un seul élément : une proposition de pack familial. Le reste de la page était identique dans les deux versions.
Ce qu'on attendait. Un panier plus gros. Nous l'avons eu : 8,14 € contre 8,75 €, et le panier médian passe de 6,90 € à 9,90 €, ce qui dit que le pack s'est réellement vendu plutôt que d'avoir été ignoré.
Ce qu'on n'attendait pas. Le gain principal n'est pas là. La variante a fait acheter plus de monde, et c'est l'effet le plus large des deux.
| Mesure | Contrôle | Variante | Écart | p |
|---|---|---|---|---|
| Sessions | 47 890 | 49 078 | ||
| Taux d'achat | 2,220% | 2,547% | +14,7% | 0,0008 |
| Panier moyen | 8,14 € | 8,75 € | +7,5% | 0,015 |
| Revenu par session | 0,194 € | 0,234 € | +20,4% |
Intervalle de confiance à 95% sur le taux d'achat : +6,1% à +23,4%. Il ne touche pas zéro, sur 26 jours et quatre week-ends.
Ce qu'on ne s'explique pas complètement
Un upsell posé après l'ajout au panier n'a aucune raison mécanique d'augmenter le nombre d'acheteurs : à ce stade, la décision d'acheter est déjà prise. L'hypothèse la plus probable est qu'une étape supplémentaire où l'on choisit renforce l'engagement plutôt qu'elle ne freine. Nous ne l'avons pas démontrée, et nous préférons le dire. Ce qui est acquis tient en une ligne : 20,4% de revenu par session en plus sur près de 97 000 visiteurs.
La suite consiste à rejouer le mécanisme sur les autres pages de la même marque, pour voir s'il tient hors de son contexte d'origine. Un résultat qu'on ne sait pas reproduire reste une anecdote.
Comment on mesure
Nous avons construit notre propre système de mesure parce que GA4 s'arrête à la page vue. Il montre le comportement section par section, par appareil et par source de trafic : quelle partie de la page est réellement lue, où le scroll s'arrête, quel bloc précède le départ, quel clic n'aboutit nulle part.
Ce détail sert à autre chose qu'à faire joli dans un rapport. Quand un test gagne, il permet de vérifier que la variante a bien agi là où vous pensiez. Si le gain apparaît sur des écrans identiques dans les deux versions, ce n'est pas un apprentissage, c'est un test à rejouer.
Le système relie aussi chaque commande à la campagne qui l'a précédée, hors renouvellements d'abonnement, ce qui permet de raisonner en coût par nouveau client plutôt qu'en taux de conversion global. Un taux monte mécaniquement quand le trafic devient plus chaud, il ne dit donc pas grand-chose seul.
Comment un test se déroule chez nous
Cinq étapes, dont deux qui se passent avant qu'une seule ligne de code ne soit écrite.
On regarde si le test est finançable
Volume de conversions de la page, écart qu'on cherche à détecter, durée que ça implique. Si le calcul dit trois mois pour un écart de 5%, on ne lance pas et on vous explique pourquoi. Cette étape écarte environ un test proposé sur deux.
On écrit l'hypothèse et les seuils
Ce qu'on change, ce qu'on attend, et à partir de quel niveau on considérera que c'est tranché. Ces seuils sont fixés avant, jamais pendant. C'est la seule protection contre la tentation de s'arrêter le jour où le chiffre est flatteur.
On produit la variante
Conception, écriture, développement, intégration. La variante part sur votre domaine et dans votre thème. Le texte vous est soumis avant le développement, parce que c'est lui qui porte le résultat.
Le test tourne, sans qu'on le regarde tous les jours
On surveille la répartition entre les deux versions et la santé technique, pas le gagnant. Les lectures répétées d'un résultat sont la première source de faux positifs, et les éviter fait partie du travail.
On conclut, ou on ne conclut pas
Si les seuils sont atteints, la variante gagnante est déployée et le résultat rejoint notre registre de tests, qui pondère les hypothèses suivantes. S'ils ne le sont pas, on le dit, et l'hypothèse écartée oriente le test d'après.
Ce qu'on nous demande
La bonne unité n'est pas le nombre de visiteurs mais le nombre de conversions. En dessous d'une centaine de conversions par variante, un écart de moins de 20% reste indiscernable du hasard. Concrètement, une page qui convertit à 2% et reçoit 5 000 visiteurs par mois met environ deux mois à trancher un test. Si votre volume ne le permet pas, nous vous le disons et nous changeons la page au lieu de la tester.
Deux semaines au minimum, pour couvrir deux week-ends complets. Le comportement d'achat d'un samedi n'est pas celui d'un mardi, et un test qui ne tourne que cinq jours mesure autant votre semaine que votre variante. La durée réelle dépend ensuite du volume de conversions nécessaire pour atteindre le seuil fixé au départ.
Notre propre système de répartition et de mesure, ce qui évite de vous imposer un abonnement supplémentaire et le script de trop qui ralentit la page. Il attribue chaque visiteur à une variante de façon stable, relie les commandes aux campagnes, et remonte le comportement section par section. Si vous utilisez déjà un outil de test, nous savons travailler avec.
C'est le cas le plus fréquent, et il est prévu. Les seuils de décision sont fixés avant le lancement : nous ne déclarons pas de gagnant en dessous. Un test qui ne tranche pas reste utile, il écarte une hypothèse et oriente la suivante. La facturation ne dépend pas du résultat d'un test, elle couvre le travail de diagnostic, de conception et de mesure.
Oui. Le script pèse quelques kilo-octets et s'exécute avant le premier affichage pour éviter le clignotement, ce moment où le visiteur voit passer la version d'origine avant la variante. C'est ce clignotement, plus que le poids du script, qui abîme à la fois l'expérience et la fiabilité de la mesure.
Une refonte change des dizaines de choses en même temps : si le résultat bouge, vous ne saurez pas ce qui l'a produit, et vous ne pourrez pas le reproduire ailleurs. Un test isole une variable. Les deux ont leur place, mais dans cet ordre : on teste pour apprendre ce qui compte chez vous, puis on refond en s'appuyant sur ce qu'on a appris.
On regarde si vos pages peuvent payer un test ?
30 minutes en direct avec le fondateur. On regarde vos volumes et vos pages, et vous repartez en sachant ce qui mérite d'être testé chez vous, et ce qui ne le mérite pas.
Réserver 30 minutes