Faire de l'A/B testing
L'A/B testing est utilisée afin de tester différentes versions de vos e-mails en temps réel et d'établir facilement et rapidement quelle version est la meilleure pour envoyer à vos profils. Dans ce sens, vous pouvez tester la variabilité de contenu au sein du même e-mail, en allant de simplement avoir 2 sujets différents jusqu'à avoir 2 versions complètement différentes du message. Cela vous permettra de tirer des conclusions concernant ce qui a le mieux marché et pour quelles raisons.
Après avoir créé votre campagne A/B, Actito va envoyer chaque version de l'e-mail à un échantillon de profils dans votre base de données. Vous pouvez avoir jusqu'à 4 versions différentes. Veuillez noter que l'échantillon de population ciblée sera systématiquement le même pour chaque version.
Après une période de test de la durée de votre choix, Actito va calculer quel e-mail a le mieux marché selon le critère du taux d'ouverture ou du taux de clics. L'e-mail le plus performant sera envoyé au reste de la cible (personnes n'ayant pas encore été contactées).
Créer votre campagne A/B
L'A/B testing est un mode de campagne en tant que tel, au même titre que les e-mails Marketing ou Scénarisés. Afin de créer une campagne A/B, il est donc nécessaire de faire votre sélection dès la création de votre message.
Rendez vous dans "Gérer les campagnes e-mails" (Catalogue > Campagnes e-mail > Gérer les campagnes e-mails), puis cliquez sur "Créer une nouvelle campagne".
Ensuite, sélectionnez le mode "A/B TEST".
En pratique, après la période de test, une campagne A/B se comportera comme une campagne Marketing. Elle est donc utilisée pour contacter un grand nombre de profils.
Si vous voulez faire des tests A/B sur des e-mails scénarisés, il est possible d'utiliser le bloc "Répartition A/B" dans l'éditeur de Scénario.
Etape 1 : Données générales
Comme pour toute campagne, la première étape va consister à donner un nom à votre campagne, à sélectionner la base de données ciblée, l'entité et la langue de la campagne.
Dans les campagnes A/B, vous avez la possibilité de sélectionner une langue de définition. En effet, l'A/B testing est utilisé pour déterminer quelle version de votre e-mail marche le mieux, mais le comportement de vos profils peut varier considérablement selon leur culture et leur langue. Un message plus informel peut mieux marcher dans une langue mais pas dans une autre, et certaines expressions n'ayant pas de traduction peuvent vous empêcher d'avoir exactement le même message dans deux langues, auquel cas le critère de sélection sera faussé.
Si vous voulez contacter l'entièreté de votre base de données, il est possible de sélectionner une langue par défaut à l'étape 2, afin de contacter tous vos profils dans la même langue.
Paramètres d'AB testing
Ensuite, vous aurez la possibilité de sélectionner :
-
Le nombre de version de votre e-mail : vous pouvez tester jusqu'à 4 versions différentes.
-
Les éléments de l'e-mail sur lesquels vous voulez tester des variations. Vous pouvez combiner une version différente des éléments suivants :
-
L'expéditeur
-
Le sujet
-
Le pré-header
-
Le contenu
-
En-têtes du message
Si vous décidez de tester une variation sur l'expéditeur, le sujet et/ou le pré-header, vous serez invités à fournir chaque version dans la section "En-têtes du message".
Etape 2 : Population cible
Comme pour toute campagne, il vous faudra sélectionner l'Abonnement et la population cible de votre e-mail. Il convient de cibler tous les profils que vous voulez contacter : la population test sera sélectionnée de manière aléatoire et les critères de répartition pourront être mis en place à une étape ultérieure.
Si vous voulez contacter des profils quelle que soit leur langue maternelle, vous pouvez désélectionner la case "Langue" et ainsi contacter toute la cible dans la langue choisie à l'étape 1.
Etape 3 : Message
Vous pouvez créer votre message sur base d'un template, en important un fichier HTML ou en codant votre propre HTML.
Si vous importez un HTML pour un AB test sur le contenu, le fichier ZIP devra contenir autant de fichiers HTML que de versions, avec la version en suffixe dans le nom du fichier, sous la forme "_a", "_b", etc.
Si vous avez choisi de faire de l'A/B testing sur le contenu à l'étape 1, il vous faudra définir un contenu spécifique pour chaque version.
Vous pourrez passer d'une version à l'autre en utilisant le menu déroulant dans le coin supérieur droit de l'écran de création du message.
Dans l'éditeur de templates, la version en cours d'édition sera affichée dans le coin supérieur gauche.
Que faire si vous avez seulement des variations minimes entre vos versions ? Dans l’éditeur de template, vous pouvez choisir de copier le contenu d'une autre version en cliquant dans les "Options" dans le coin supérieur gauche et en choisissant "Importer le contenu d'une autre version". Après cela, vous pouvez appliquer les variations sur lesquelles faire de l'A/B testing.
Etape 4 : Contrôle et Test
Après avoir créé votre message, vous aurez la possibilité de le tester en sélectionnant un échantillon de profils dans votre groupe de test. Vous pourrez ensuite renseigner une ou plusieurs adresses e-mails auxquelles les e-mails de test seront envoyés.
La colonne "A/B" vous permet de choisir quelle version générer pour chaque profil test. Si vous laissez la valeur par défaut "A/B", chaque version de l'e-mail sera générée pour ce profil de test (version C et D inclues si elles existent).
Alternativement, vous pouvez choisir de ne sélectionner qu'une seule version pour chaque profil depuis le menu déroulant.
Etape 5 : Envoi
A l'étape 5, vous obtiendrez un résumé des données générales, des en-têtes du message et la population cible de votre compagne.
En outre, vous aurez la possibilité de définir les paramètres d'AB testing.
Paramètres d'AB testing
-
Taille de l'échantillon pour l'envoi des versions : une barre coulissante vous permettra de choisir la répartition entre la version de test et la version gagnante. Si vous avez plus de 2 versions (A/B/C/D testing), chaque version va automatiquement avoir la même taille d'échantillon.
-
Critères d'optimisation : vous pouvez choisir les critères utilisés pour déterminer la version gagnante, soit selon le taux d'ouverture ou selon le taux de clics.
-
Période : déterminer la période de test à la fin de laquelle la version gagnante sera décidée. Elle peut être paramétrée en heures ou en jours.
Après avoir sélectionné les paramètres d'AB testing, vous pouvez choisir d'envoyer la campagne immédiatement ou de la planifier pour plus tard.
Il est possible de paramétrer un AB test avec un échantillon équivalent à 100% de la cible, par exemple si vous voulez identifier la meilleure version dans le but d'optimiser vos prochains envois.
Il faudra pour cela quand même choisir un critère d'optimisation et une période de test. Ceux-ci n'auront pas d'impact sur l'envoi, vu que la campagne sera aussitôt envoyée à toute la cible, mais ils serviront à identifier la version gagnante dans le rapport d'envoi.
Analyser votre campagne A/B
Une fois que votre campagne d'A/B testing a été envoyée, elle se trouvera disponible dans l'onglet "En cours" durant toute la durée de la période de test que vous avez indiquée à l'étape 5 de la création.
Durant cette période, il n'est pas possible de "Corriger" cette campagne. En revanche, il est possible de "Terminer" celle-ci si vous ne souhaitez pas envoyer la version gagnante de l'e-mail.
Si vous voulez vérifier la répartition de la population de test ou accéder aux différentes versions de votre e-mail, ceci est possible via le bouton "Voir la définition".
Voir le rapport en période de test
Vous avez à tout moment la possibilité de consulter le rapport de l'envoi et ainsi vérifier l'évolution en temps réel des taux d'ouverture et de clic de chaque version.
Pour cela, cliquez sur le bouton "Voir les rapports".
L'onglet "Résumé", présent dans tous les rapports de campagne, vous donnera les statistiques globales de votre envoi. Pour voir la répartition de votre campagne A/B, rendez vous dans l'onglet "A/B testing", qui est visible uniquement pour les campagnes de ce type.
Ceci vous permet d'abord de voir le nombre d'e-mails envoyés pour chaque version. L'échantillon de population ciblée sera systématiquement le même pour chaque version, mais des variations peuvent apparaître, par exemple si une adresse e-mail est filtrée.
Vous pouvez ensuite comparer le taux de délivrabilité, d'ouverture et de clics des différentes versions de votre e-mail, et ce à n'importe quel moment durant la période de test.
La colonne "Optimisé", vide en période de test, accueillera les statistiques de la version gagnante une fois celle-ci déterminée.
Voir le rapport optimisé
Une fois la période de test passée, la campagne apparaîtra dans l'onglet "Envoyées" et vous aurez la possibilité de voir le rapport complet de la campagne.
Dans l'onglet "A/B testing", l'en-tête de la colonne "Optimisé" indique maintenant quelle est la version gagnante.
Les statistiques d'envoi contenues dans la colonne "Optimisé" se rapportent uniquement à la version optimisée, c'est-à-dire les e-mails envoyés après la période de test, sans inclure l'échantillon de test correspondant.
Tout en bas de la page, l'onglet "Gagnant" indique la version gagnante et rappelle les critères qui ont été choisis pour établir celle-ci.
Une fois la version gagnante envoyée, votre campagne A/B apparaîtra dans vos dernières campagnes sur votre Tableau de Bord, parmi les autres campagnes de masse.