A/B Test : définitions, outils, exemples

Qu’est ce qu’un A/B test ?

Définition

Un A/B test est une méthode d'analyse de données permettant de valider l’implémentation d’une feature A ou B. Cette feature peut-être une fonctionnalité nouvelle à votre application, un bouton placé différemment sur votre site web etc.

Pourquoi appeler cela un “A/B Test” ? Tout simplement parce que l’on va tester deux features simultanément sur des échantillons différents de personnes, pour savoir laquelle obtient les meilleures performances.

‍

L’intervalle de confiance

Le concept statistique derrière l’A/B Test ? Ce sont les intervalles de confiance. C’est une méthode statistique qui vous permet de déterminer la moyenne “réelle” d’une population (pas forcément des personnes, mais bien tout type de données) à partir d’un échantillon. Imaginez que vous essayez de connaître l’âge moyen de la population française. Une méthode consisterait à toquer à la porte de chaque français et demander leur âge. C’est ce que l'on appelle un recensement. Cependant, on imagine bien le temps et l’argent qu’impliquerait le recensement des 67 millions de Français.

Une autre méthode consiste à prendre un échantillon représentatif de la population française, calculer la moyenne d’âge de cet échantillon et à partir de cette statistique obtenir un intervalle de confiance à l’intérieur duquel est la moyenne de la population totale.

Si le concept d’A/B vous intéresse, n’hésitez pas à regarder notre formation en Data pour débutant dans laquelle nous couvrons l’entièreté de la notion.

Exemple d’implémentation

Plus concrètement, comment mettre en place un A/B Test ? Par exemple, vous voulez tester deux titres sur votre page d’accueil. Chacun de ces titres va constituer une “feature”, que vous pourrez appeler A et B. Vous définirez aussi un KPI (Indicateur clé de performance - Key Performance Indicator) que ces features doivent optimiser. Par exemple, vous pourriez vouloir augmenter le nombre de soumissions de formulaires d’inscriptions sur votre site.

Une fois que les features sont implémentées, vous les testerez en même temps sur votre site. Autrement dit, vous aurez de manière aléatoire une proportion de vos visiteurs qui vont être exposés à la feature A tandis que les autres pourront observer la feature B. Très souvent ces proportions sont à 50% (50% voient A et 50% voient B).

Vous pouvez ensuite attendre une semaine le temps que votre A/B Test obtienne des résultats représentatifs pour les analyser. Si à la fin de la semaine, vous avez rassemblé assez de données, votre A/B Test devrait vous montrer quelle feature est un winner. Dans notre exemple, quelle feature obtient le plus de soumissions de formulaires.

Quelles applications d’un A/B test ?

On peut utiliser les A/B Test dans beaucoup de cas différents. Les start-ups américaines et particulièrement Airbnb ont démocratisé la notion et l’utilisation de l’A/B Test.

La liste des A/B qu’il est possible de mener est très longue, mais en voici quelques exemples :

• Optimiser le design d’un site ou d’une application web pour améliorer des KPIs définies
• Anticiper la demande sur un produit industriel
• Anticiper la casse de produits industriels
  

En somme, n'importe qu'elles 2 options à tester peuvent faire l’objet d’un A/B test, tant que vous pouvez réunir assez de données pour avoir des résultats représentatifs et utiles.

Quand utiliser un A/B Test ?

Les A/B tests sont très utiles à partir du moment où vous avez assez de données. Si vous souhaitez optimiser votre application web ayant par exemple 10 000 visiteurs par mois, vous pourrez rassembler assez de données pour obtenir un A/B Test concluant.

En revanche, si vous venez de démarrer votre entreprise et que vous souhaitez A/B Tester votre application, vous n’aurez vraisemblablement pas de résultats concluants étant donné que vous aurez assez peu d’utilisateurs au départ.

Souvenez-vous qu’un A/B test est un moyen de faire des optimisations. Le principe même de l’optimisation est d’améliorer à partir de fondamentaux déjà solides. Avant de mener un A/B tests soyez donc certains d’avoir construit ces fondamentaux.

Quels sont les outils pour construire un A/B test ?

Maintenant que vous avez une bonne idée de ce qu’est un A/B test, comment pourriez-vous les utiliser dans vos missions professionnelles ? Il y a deux moyens que nous vous recommandons :

• Le No-code : Vous allez utiliser des outils Saas, comme Optimizely pour implémenter votre A/B test
• Le code : Vous allez avoir plus de flexibilité et vous allez construire vos tests de A à Z avec.
  

Ces deux méthodes ont leurs avantages et leurs défauts. Le no-code a l’avantage de s’implémenter facilement mais il est souvent payant. Si vous avez beaucoup d’A/B tests à mener sur des applications web, des outils no-code comme Optimizely seront un très bon choix. Si vous avez besoin de flexibilité et que vos A/B Tests ne sont pas uniquement sur des données web, il peut être utile de savoir les mener en Python.

Quel que soit l'outil, l'important est de savoir interpréter les résultats. Si vous souhaitez apprendre comment mener des A/B tests et analyser ces résultats, n’hésitez pas à regarder nos formations en Data Analysis où nous traitons de bien d’autres sujets liés à l’analyse de données.

‍