L’AB testing sur mobile : retour d’expérience du Club du Marketing Mobile

Patrizia Romualdi, Responsable Optimisation et AB-test chez VSC, considère que le projet démarre vraiment aujourd’hui. Sur l’optimisation mobile, l’entreprise va s’appuyer sur l’expertise d’AB Tasty, avec qui a été noué un partenariat  d’exploration pensé autour de l’échange de compétences : ainsi VSC va pouvoir monter en compétence et, en contrepartie, met à disposition d’AB Tasty  des développeurs iOS ; AB Tasty espère aller plus loin dans le développement, optimiser sa solution de beta in app pour iOS et pouvoir ainsi proposer la meilleure solution du marché.

Comment fonctionne ce partenariat ? Aux yeux de VSC, les avantages de ce  fonctionnement  sont nombreux : VSC bénéficie d’un apport d’expertise et de connaissance de ce qui se passe sur les OS,  qui ne sont pas  disponibles  en interne, ainsi que de  statistiques  très poussées et donc de résultats plus fiables qu’une solution interne. Dans cette manière de procéder, VSC développe ses versions (dans le code) et les transmets directement à AB Tasty, sans passer par la validation du store ; lorsque la version est gagnante, elle peut effacer les  autres versions. En corollaire, la qualité de toutes les versions doit être irréprochable ; elles doivent être entièrement développées. Le facteur sensible réside dans la bande passante des équipes et le matching de ces projets avec  les dates internes des deliveries. Pour autant, VSC reste à l’écoute de toute autre solution. Ainsi,  lorsqu’android, depuis Dublin, lance  une solution  d’AB test, VSC s’estime devenu  assez  compétent pour savoir aborder les sujets.

Pour ce qui est de l’analyse du ROI, faire de l’AB testing représente un  investissement difficilement  quantifiable en termes d’organisation : VSC dispose d’une équipe dédiée au développement  des applications mobiles que les développeurs des équipes innovation peuvent aider ; ainsi, le développement devient aussi fluide que possible. L’’AB testing s’envisage comme un changement de mindset : l’objectif de l’équipe est de créer le « réflexe » AB Test et, plutôt que de parler de mise en production, les équipes raisonnent en termes de mise en test validée par le client lui-même.

Où eOù en sont les grands annonceurs en matière d’AB testing sur mobile ? 

La maturité des grands annonceurs en matière d’AB testing mobile est très variable.

Ainsi, le PMU a démarré l’AB testing sur desktop il y a environ 3 ans. La culture de la mesure et l'AB test d'ergonomie sont bien ancrées. La question se pose d’ailleurs pour augmenter la fréquence et industrialiser les AB tests, tout en mesurant les aspects budgétaires de maintenir plusieurs versions. L’expérience très positive  sur le desktop à l’ouverture de compte (+ 1.5 point de conversion) incite le PMU à faire également de l’AB testing sur le mobile. Le PMU cherche à s’appuyer sur des prestataires capable d’analyser et recouper les expériences entre web et mobile. Le PMU travaille à faire entrer l’AB testing mobile dans des cycles agiles et internaliser pour pouvoir  industrialiser.

Pour sa part, Allianz utilise régulièrement l’AB testing pour mesurer l’efficacité des créations publicitaires qui incitent au téléchargement « utile », c’est-à-dire le téléchargement suivi d’une utilisation de l’application. Cela a notamment permis de mettre en valeur une création sous format interstitiel qui représente désormais 20% des téléchargements quotidiens.  

Nestlé (en tout cas sur l’activité Nestlé Bébé) ne réalise quant à lui pas encore d’AB testing mobile.

QuQQu'en est-il de la fréquence des releases  et du traitement de Windows Phone ?

La démarche d’AB testing sous-entend  la possibilité de faire des releases plus fréquentes. Qu’en est-il chez les différents annonceurs ? Comment sont gérés les OS comme Windows Phone ?

Voyage-SNCF.com fait des releases  tous les mois à tous les mois œ  mais a pour objectif en 2016 de  raccourcir ces intervalles à maximum 1 mois. Le point le plus bloquant est l’agilité, pas uniquement technique, mais aussi au niveau de la conception des interfaces. VSC externalise le développement Windows Phone dont l’usage client n’est pas encore au même niveau que celui des autres OS. Pour VSC,  Windows Phone 10 présente une nouvelle  logique à suivre, autour des interactions entre les applications et l’environnement Microsoft et de la posture « venez comme vous êtes ».

Le PMU a  des releases tous les  mois.  Les équipes on line fonctionnent à 100% en mode agile mais doivent travailler avec les autres départements de la DOSI qui ne travaillent pas forcément en agilité. Le PMU n’est pas présent sur Windows Phone au travers d’une appli  mais s’interroge pour investir sur cet OS en fonction de la Part de Marché de Windows Phone (8%), le coût d’entrée, la stabilisation de l’appli dans le temps et l’arrivée de W10.

Chez Air France les applis iOS et android sont développées en  interne et l’application Windows Phone a été développée à l'extérieur, mais est maintenue en interne. Les utilisateurs Windows représentent moins de 2% des visites. En théorie, les releases d’applications se font toutes les 3 semaines ; la réalité est autre. Une  grosse refonte en préparation se traduit par 10 sprints passés sans livrer. La nature des plateformes influe sur le rythme de releases : les fonctionnalistes sont en effet différentes entre le web et le mobile : le web est dédié à la vente alors que le mobile sert à l’accompagnement (cartes d’accès, cartes de fidélité ...). Sur le mobile, la moitié des visites se fait sur le site et l’autre moitié sur l’application.

La marque Nestlé bébé n’est pas présente sur Windows Phone. Sa cible se renouvelle tous les ans car le consommateur est un  bébé entre 0 et 12 mois ; il y a donc un moindre besoin de  changer les contenus et les releases se font tous les 3 mois.

Les cibles d’Allianz sont principalement des CSP+ senior. Ils sont généralement équipés iOS (54%). L’entreprise a peu de visibilité et de verbatim sur Windows Phone mais suppose une demande faible sur l’OS. L’équipe mobile se tient à jour sur la possibilité de porter le code Android sur Windows Phone dans une logique de solution à coût maitrisé. Allianz fait des releases  app mobile tous les 3 mois, pas nécessairement  plus riches sur le mobile que sur le web. Les releases web et mobile ne sont pas corrélées.

Etaient présents pour cet Atelier du  Club du Marketing Mobile : Vincent Fillon d’Air France, Gérald Filin d’Allianz, Frank Desvignes d’AXA, Marie Renouard de Monoprix, Pascale Martin de Nestlé bébé, Julie London du PMU, Thierry Elkaim de Transdev, Ingrid Peiniau pour représenter Pascal Lannoo de Voyage-SNCF.com, Rodolphe Roux de Wiko mobile.

Si vous êtes annonceur et souhaitez faire partie du Club du Marketing Mobile, merci de contacter julie.poilleux@mmaf.fr.