Incrementality testing : choisir l’outil adapté au mix média
La question n’est plus de mesurer plus, mais de savoir ce qui aurait vraiment eu lieu sans média
Les directions marketing ont longtemps piloté leur mix média avec une combinaison d’attribution, de reporting plateforme et de ratios financiers. Le CPA, cost per acquisition, désigne le coût nécessaire pour générer une conversion attribuée. Le ROAS, return on ad spend, mesure le chiffre d’affaires attribué aux dépenses publicitaires. L’attribution, méthode qui assigne une conversion à un ou plusieurs points de contact marketing, permet de comparer des canaux, des campagnes et des créations. Ces indicateurs restent utiles pour l’optimisation tactique. Mais ils répondent rarement à la question la plus importante : quelle part du résultat est réellement causée par l’exposition média ?
C’est précisément l’objet de l’incrementality testing, ou test d’incrémentalité : mesurer l’écart entre ce qui s’est produit avec une action marketing et ce qui se serait produit sans cette action. Le concept paraît simple. Sa mise en œuvre l’est beaucoup moins, car le marketing opère rarement dans un environnement de laboratoire. Les campagnes se chevauchent, les canaux interagissent, les audiences circulent entre search, social, retail media, emailing, programmatique, TV connectée et magasins physiques. Les plateformes optimisent leurs enchères en temps réel, les signaux de consentement varient, les ventes subissent la saisonnalité, les promotions et les effets macroéconomiques.
Le besoin s’est renforcé avec la fragilisation des signaux individuels. La baisse de disponibilité des cookies tiers, les restrictions mobiles, les environnements fermés et les choix de consentement réduisent la précision apparente du tracking. Dans le même temps, les budgets sont sous pression. Gartner estimait les budgets marketing à environ 7,7 % du chiffre d’affaires des entreprises en 2024, un niveau qui oblige à justifier les arbitrages avec plus de rigueur. Dans ce contexte, un ROAS plateforme élevé peut être trompeur s’il capte surtout une demande déjà existante. À l’inverse, un canal de notoriété peut afficher un CPA faible à court terme tout en générant de la demande captée ensuite par le search de marque ou le CRM.
Le vrai sujet n’est donc pas de choisir l’outil d’incrementality testing le plus sophistiqué, mais l’outil adapté au mix média, au niveau de dépense, à la granularité des données, au cycle d’achat et au type de décision à prendre. Un test holdout utilisateur, un geo-test, une expérimentation plateforme, un modèle causal bayésien ou un MMM, marketing mix modeling, modélisation statistique estimant la contribution des leviers marketing à partir de séries temporelles agrégées, ne répondent pas aux mêmes contraintes. Les confondre conduit à deux erreurs symétriques : surinvestir dans une méthode trop lourde pour une décision tactique, ou prendre une décision budgétaire majeure avec une preuve trop fragile.
Comprendre ce que l’incrémentalité mesure vraiment, et ce qu’elle ne mesure pas
L’incrémentalité repose sur une logique contrefactuelle. Pour savoir si une campagne a créé de la valeur, il faut comparer le groupe exposé à une référence crédible représentant ce qui se serait passé sans exposition. Dans un test idéal, deux groupes similaires sont constitués aléatoirement : un groupe test exposé au média et un groupe contrôle non exposé. La différence de conversion, de chiffre d’affaires ou de visites magasin entre les deux groupes, après ajustements éventuels, donne l’effet incrémental.
Cette logique diffère profondément de l’attribution. L’attribution observe un chemin et répartit un crédit. L’incrémentalité cherche à estimer une causalité. Une publicité peut être présente dans le parcours sans être la cause de la conversion. C’est fréquent en retargeting, en search marque ou sur des audiences très intentionnistes. À l’inverse, un levier peut générer un effet incrémental sans apparaître dans le dernier clic, par exemple une campagne vidéo, une opération de branding, une campagne audio ou une exposition programmatique en amont du funnel, parcours allant de la découverte à la considération puis à la conversion.
Trois notions doivent être clarifiées avant de choisir un outil. La première est le lift incrémental, c’est-à-dire l’augmentation relative observée par rapport au groupe contrôle. Si un groupe exposé convertit à 5,5 % et un groupe contrôle à 5 %, le lift est de 10 %. La deuxième est le volume incrémental, soit le nombre absolu de conversions, ventes ou visites supplémentaires attribuables au média. La troisième est le coût par résultat incrémental, souvent plus utile que le CPA attribué. Une campagne peut afficher un CPA attribué de 20 euros mais un coût par conversion incrémentale de 80 euros si une grande partie des conversions aurait eu lieu sans média.
La mesure incrémentale ne supprime pas l’incertitude. Elle la rend explicite. Tout test est soumis à une puissance statistique, c’est-à-dire la capacité à détecter un effet réel si cet effet existe. Plus l’effet attendu est faible, plus il faut de volume, de temps ou de contraste entre groupes. Une marque qui génère 300 conversions par mois ne pourra pas détecter finement un lift de 3 % sur un segment étroit. À l’inverse, un e-commerçant avec plusieurs dizaines de milliers de transactions peut tester des effets plus modestes, à condition de maîtriser les biais de ciblage, de saisonnalité et de contamination.
Le point critique est de relier la méthode à la décision. Tester l’incrémentalité d’un bouton créatif sur une campagne social n’a pas le même enjeu que décider de transférer 25 % du budget display vers le retail media. Dans le premier cas, un test rapide plateforme peut suffire. Dans le second, il faut une preuve plus robuste, idéalement croisant expérimentation, séries temporelles, cohérence business et lecture finance.
Choisir entre holdout utilisateur, geo-test et expérimentation plateforme selon le niveau de contrôle disponible
Le premier arbitrage porte sur l’unité de randomisation. Peut-on isoler des utilisateurs, des zones géographiques, des magasins, des comptes B2B, des emails ou seulement des périodes ? Cette question détermine la famille d’outils la plus pertinente.
Le holdout utilisateur consiste à exclure aléatoirement une partie d’une audience éligible afin de comparer son comportement avec celui des utilisateurs exposés. Cette méthode est puissante lorsque l’environnement permet une allocation fiable entre test et contrôle : CRM, emailing, application, audience connectée, plateforme publicitaire disposant d’un identifiant stable. Elle est particulièrement adaptée aux campagnes de réactivation, aux offres personnalisées, aux séquences lifecycle et à certains dispositifs de retargeting. Par exemple, une enseigne peut exclure 10 % de ses clients inactifs d’une campagne email et comparer les achats sur 30 jours. Si les exposés achètent 12 % de plus que le groupe contrôle, l’effet est plus crédible qu’un simple taux de clic.
Mais le holdout utilisateur a des limites. Il suppose une capacité d’exclusion réelle. Sur des environnements programmatiques ouverts, la contamination est fréquente : un utilisateur exclu d’une plateforme peut être exposé via une autre DSP, demand-side platform, plateforme permettant aux annonceurs d’acheter des impressions publicitaires de manière automatisée. Dans le RTB, real-time bidding, mécanisme d’enchères en temps réel permettant d’acheter une impression lorsqu’elle devient disponible, les impressions circulent entre de nombreux acteurs. Si le groupe contrôle reçoit malgré tout des expositions média, le lift mesuré sera sous-estimé.
Le geo-test consiste à comparer des zones géographiques exposées à des zones non exposées ou moins exposées. Il est particulièrement utile lorsque l’exposition utilisateur ne peut pas être contrôlée finement : TV, radio, affichage, drive-to-store, retail media local, campagnes multi-plateformes ou médias offline. La méthode peut être simple, avec zones test et contrôle appariées, ou plus avancée, avec modèles de séries temporelles, synthèse de contrôle ou approche bayésienne. Elle permet de mesurer des KPI business comme les ventes magasin, les visites, les demandes de devis ou le chiffre d’affaires local.
Le geo-test exige cependant une discipline de design. Les zones doivent être comparables avant campagne : volume de ventes, saisonnalité, concurrence, pression promotionnelle, météo, structure socio-démographique. Une différence post-campagne ne signifie rien si les zones test étaient déjà en croissance plus rapide. Des méthodes comme difference-in-differences, approche comparant l’évolution entre avant et après dans les zones test et contrôle, permettent de limiter ce biais. Mais elles supposent que les tendances auraient été parallèles sans intervention, hypothèse forte qu’il faut vérifier.
Les expérimentations plateforme, proposées par Google, Meta, Amazon, TikTok ou certains acteurs retail media, sont attractives car elles automatisent une partie du protocole : groupes test et contrôle, calcul de lift, parfois estimation de coût incrémental. Elles sont utiles pour mesurer l’effet d’une campagne dans un environnement donné. Leur limite principale est leur périmètre. Elles mesurent souvent l’incrémentalité à l’intérieur d’une plateforme, selon ses propres règles d’exposition, de conversion modélisée et d’attribution. Elles ne répondent pas toujours à la question du mix : ce canal crée-t-il une valeur additionnelle par rapport aux autres leviers déjà actifs ?
Adapter l’outil au rôle du canal dans le mix média, pas à sa facilité de mesure
Un mix média n’est pas une collection de canaux équivalents. Chaque levier occupe une fonction différente : création de demande, capture d’intention, réassurance, réactivation, conversion, fidélisation. L’outil d’incrementality testing doit respecter cette fonction. Mesurer tous les canaux avec la même fenêtre, le même KPI et le même protocole revient à favoriser les leviers les plus proches de la conversion.
Le search marque doit être testé avec prudence, car il capte souvent une demande déjà créée ailleurs. Un test pertinent peut consister à réduire ou suspendre temporairement les enchères sur certains segments ou zones, puis à observer la cannibalisation par le SEO, search engine optimization, optimisation de la visibilité organique dans les moteurs de recherche. Si 80 % des conversions payantes se déplacent vers l’organique sans perte de chiffre d’affaires, l’incrémentalité du search marque est limitée. Mais si la concurrence achète les requêtes de marque ou si les résultats organiques sont instables, couper totalement peut être risqué. L’arbitrage doit intégrer le coût de défense de marque, pas seulement le CPA.
Le social paid et la vidéo nécessitent souvent une lecture plus longue. Un test sur sept jours peut sous-estimer l’effet si le canal influence la considération, les recherches ultérieures ou l’inscription newsletter. Les KPI doivent inclure des signaux intermédiaires : recherches de marque, visites directes, engagement CRM, progression de cohortes, taux de retour. Le risque inverse existe aussi : attribuer à une campagne vidéo un effet macro qui provient d’une promotion, d’un lancement produit ou d’une couverture presse. D’où l’intérêt de combiner expérimentation plateforme et modèle de séries temporelles lorsque les montants deviennent significatifs.
La programmatique doit être évaluée selon la qualité d’inventaire, l’audience et la fréquence. Un CPM, cost per mille, coût pour mille impressions publicitaires, faible ne signifie pas que la campagne est efficace. Un test incrémental peut comparer une stratégie de ciblage contextuel, une audience first-party et une audience tierce. Mais il faut contrôler la visibilité, la fraude, la brand safety et la fréquence. Une impression non visible ne peut pas raisonnablement produire le même effet qu’une impression visible dans un contexte premium. Le choix de l’outil doit donc intégrer les métriques média de base avant même de parler causalité.
L’emailing d’acquisition et la réactivation CRM se prêtent bien aux holdouts, car l’exposition peut être contrôlée au niveau contact. Une agence spécialisée comme R-Advertising, lorsqu’elle opère sur des dispositifs emailing, programmatique ou drive-to-store, peut par exemple structurer des cellules test et contrôle pour distinguer volume envoyé, pression commerciale et ventes incrémentales. L’enjeu n’est pas seulement d’observer l’ouverture ou le clic, mais de mesurer le comportement post-exposition par rapport à une population comparable non sollicitée.
Le retail media impose un autre arbitrage. Les plateformes distributeurs disposent de données transactionnelles puissantes, mais les environnements sont souvent fermés. Les tests de lift peuvent être solides pour mesurer l’effet chez un retailer donné, mais ils ne disent pas toujours si la campagne a généré des ventes nettes additionnelles pour la marque ou simplement déplacé des achats entre enseignes, formats ou périodes. Pour une marque FMCG, fast-moving consumer goods, produits de grande consommation à rotation rapide, la mesure doit donc distinguer ventes incrémentales retailer, ventes incrémentales totales et cannibalisation.
Évaluer les outils avec une grille décisionnelle : granularité, biais, coût et actionnabilité
Le marché des solutions d’incrementality testing s’est densifié : modules natifs des plateformes publicitaires, outils d’expérimentation CRM, solutions de geo-testing, modèles causaux, MMM nouvelle génération, clean rooms, environnements sécurisés permettant de croiser des données entre partenaires sans exposer directement les données individuelles. Le risque est de choisir un outil selon sa promesse technologique plutôt que selon les contraintes de décision.
Une grille robuste peut s’organiser autour de six critères. Le premier est la granularité disponible. Dispose-t-on de données utilisateur, transaction, magasin, zone géographique, jour, semaine ou seulement mois ? Plus la granularité est fine, plus les tests peuvent être ciblés, mais plus les exigences privacy et qualité data augmentent. Le deuxième critère est le niveau de contrôle de l’exposition. Peut-on empêcher un groupe d’être exposé ? Peut-on limiter la contamination cross-canal ? Si ce n’est pas le cas, un geo-test ou un MMM peut être plus crédible qu’un faux holdout utilisateur.
Le troisième critère est la puissance statistique. Un outil peut être élégant mais inutile si le volume est insuffisant. Avant de lancer un test, il faut estimer le MDE, minimum detectable effect, plus petit effet détectable compte tenu du volume, de la variance et du seuil de confiance. Si le test ne peut détecter qu’un lift supérieur à 25 %, alors qu’un gain réaliste se situe autour de 5 %, l’absence de résultat significatif ne prouvera rien. Elle indiquera seulement que le protocole était sous-dimensionné.
Le quatrième critère est le risque de biais. Les principaux biais sont la sélection d’audience, la saisonnalité, la contamination, la cannibalisation, les promotions concurrentes, les ruptures de stock et les effets de nouveauté. Une campagne drive-to-store peut sembler très incrémentale si elle est testée dans des zones déjà stimulées par une opération locale. Une campagne social peut paraître inefficace si elle est évaluée pendant une période de rupture produit. L’outil doit permettre de documenter et, si possible, d’ajuster ces biais.
Le cinquième critère est le coût d’opportunité. Créer un groupe contrôle signifie parfois renoncer à exposer une partie d’une audience à une offre potentiellement rentable. Sur un programme CRM très performant, un holdout de 10 % peut représenter un manque à gagner immédiat. Ce coût est acceptable si l’apprentissage modifie des décisions futures importantes. Il l’est moins pour une micro-optimisation créative. Le design doit donc proportionner la taille du holdout à la valeur de l’apprentissage.
Le sixième critère est l’actionnabilité. Un résultat incrémental doit conduire à une décision claire : augmenter, réduire, redistribuer, changer la fréquence, modifier l’audience, ajuster la création, rallonger la fenêtre, combiner avec un autre canal. Si le test produit un lift global sans indication exploitable, il nourrit la connaissance mais pas forcément le pilotage. Un bon outil ne se juge pas seulement à sa rigueur méthodologique, mais à sa capacité à transformer l’incertitude en arbitrage.
Combiner incrémentalité, MMM et attribution pour éviter les décisions en silo
Le débat oppose souvent attribution et incrémentalité, alors qu’une organisation mature doit articuler plusieurs niveaux de preuve. L’attribution reste utile pour piloter des optimisations court terme : créations, mots-clés, audiences, enchères, landing pages. Elle permet d’observer rapidement des signaux opérationnels. Son défaut est de surestimer les points de contact observables et proches de la conversion.
L’incrementality testing apporte une preuve causale plus robuste, mais il n’est pas toujours continu ni exhaustif. On ne peut pas tester chaque canal, chaque segment et chaque semaine avec la même rigueur. Les tests doivent être réservés aux zones de doute à fort enjeu : réallocation budgétaire, lancement d’un canal, validation d’un partenaire, défense d’un levier sous-attribué, mesure de cannibalisation.
Le MMM complète ces approches en lisant le mix à un niveau agrégé. Il permet d’estimer les contributions des canaux, les effets retardés, la saturation et les interactions. Les modèles récents peuvent intégrer des priors, hypothèses préalables issues d’expériences ou de connaissances business, et des variables de contrôle comme prix, promotions, météo, concurrence, distribution ou ruptures de stock. Mais le MMM reste dépendant de la qualité des séries temporelles et de la variabilité des dépenses. Si un canal a été dépensé de manière constante pendant deux ans, le modèle aura du mal à identifier son effet.
La bonne pratique consiste à créer une boucle. Les tests d’incrémentalité calibrent les hypothèses du MMM. Le MMM identifie les zones où un test serait le plus utile. L’attribution sert l’optimisation intra-canal en tenant compte des biais révélés par les tests. Par exemple, si un test montre que le retargeting n’est incrémental qu’à 35 %, les équipes peuvent ajuster les règles d’enchères, réduire la pression sur les visiteurs très intentionnistes et privilégier des segments plus éloignés de la conversion. Si un MMM suggère une saturation du paid social au-delà de 150 000 euros par mois, un geo-test peut valider ou contester cette limite.
Cette combinaison évite deux dérives. La première est le fétichisme de l’expérimentation, qui voudrait que seule une randomisation parfaite ait de la valeur. Dans la réalité, certaines décisions doivent être prises avec des preuves imparfaites mais convergentes. La seconde est l’illusion du modèle total, qui confierait au MMM ou à une plateforme unique la vérité du mix. Aucun outil ne remplace la compréhension des mécanismes business, des contraintes média et des comportements clients.
Mettre en place une gouvernance de test : hypothèse, design, décision et apprentissage
Un programme d’incrementality testing échoue rarement par manque d’outils. Il échoue par absence de gouvernance. Les tests sont lancés trop tard, sans hypothèse claire, avec des KPI discutés après coup, puis interprétés selon les intérêts de chaque équipe. Pour éviter cette dérive, chaque test doit être traité comme un protocole de décision.
La première étape consiste à formuler l’hypothèse. Elle doit être précise : la campagne programmatique contextuelle génère au moins 8 % de visites incrémentales en magasin dans les zones exposées ; la baisse de 30 % des dépenses search marque ne réduit pas le chiffre d’affaires total de plus de 3 % ; la séquence email de réactivation augmente les achats à 30 jours de 12 % par rapport au holdout. Une hypothèse trop vague produit un test impossible à interpréter.
La deuxième étape consiste à définir le KPI primaire et les KPI secondaires. Le KPI primaire sert la décision. Les KPI secondaires aident à comprendre le mécanisme. Pour une campagne upper funnel, le KPI primaire peut être les ventes incrémentales à 60 jours, tandis que les KPI secondaires incluent recherches de marque, visites directes, inscription newsletter et taux de retour. Pour une campagne drive-to-store, le KPI primaire peut être les visites magasin incrémentales, mais il faut aussi observer panier moyen, ventes nettes et cannibalisation des magasins proches.
La troisième étape est le design. Il faut décider de la population, du groupe contrôle, de la durée, du niveau d’exposition, de la fenêtre d’observation, des exclusions et des variables de contrôle. Il faut aussi documenter les événements susceptibles de perturber le test : promotion nationale, changement prix, lancement concurrent, jour férié, météo exceptionnelle, rupture de stock, modification tracking. Cette documentation est souvent plus importante qu’un dashboard sophistiqué.
La quatrième étape est la règle de décision. Avant le lancement, les équipes doivent convenir de ce qui sera fait selon les résultats. Si le lift est supérieur à 10 % avec un intervalle de confiance acceptable, le budget augmente-t-il ? Si le lift est nul, coupe-t-on le canal ou modifie-t-on l’audience ? Si le résultat est positif mais non significatif, relance-t-on un test plus puissant ? Sans règle de décision, les résultats deviennent matière à interprétation politique.
La cinquième étape est la capitalisation. Chaque test doit alimenter une bibliothèque d’apprentissages : contexte, protocole, budget, période, résultat, limites, décision prise, effet observé après décision. Cette mémoire évite de retester les mêmes évidences et permet de construire progressivement des priors pour les modèles. Elle aide aussi à former les équipes média, CRM, data, finance et direction générale à un langage commun de la preuve.
Conclusion : choisir l’outil en fonction du risque de décision, pas de la promesse de précision
L’incrementality testing devient indispensable parce que le marketing ne peut plus se satisfaire d’indicateurs attribués comme preuves de causalité. Mais il serait dangereux d’en faire une nouvelle religion méthodologique. Tous les tests comportent des hypothèses, des biais et des coûts. Leur valeur dépend de leur adéquation au mix média, au volume de données, au rôle du canal et à la décision attendue.
Une feuille de route actionnable peut se structurer en sept étapes. Premièrement, cartographier les décisions budgétaires où l’incertitude coûte cher : search marque, retargeting, social vidéo, programmatique, retail media, drive-to-store, CRM. Deuxièmement, qualifier le rôle de chaque canal dans le funnel pour éviter de mesurer un levier d’influence avec une fenêtre de conversion trop courte. Troisièmement, choisir l’unité de test la plus crédible : utilisateur, contact CRM, zone géographique, magasin, compte ou période. Quatrièmement, calculer la puissance statistique et le minimum detectable effect avant de lancer le protocole. Cinquièmement, documenter les biais possibles et les événements externes. Sixièmement, définir une règle de décision avant lecture des résultats. Septièmement, intégrer les apprentissages dans l’attribution, le MMM et les arbitrages média futurs.
Le bon outil n’est pas celui qui promet la vérité absolue. C’est celui qui réduit suffisamment l’incertitude pour permettre une meilleure décision. Pour une optimisation tactique, un test plateforme peut suffire. Pour arbitrer un transfert de budget entre canaux, un geo-test ou un MMM calibré par expérimentation sera plus robuste. Pour piloter le CRM, les holdouts utilisateurs restent souvent la méthode la plus directe. Pour mesurer l’effet d’un mix complexe, la convergence entre plusieurs preuves vaut mieux qu’un chiffre unique.
Dans un environnement où les signaux individuels se raréfient, où les plateformes défendent leurs propres métriques et où les budgets doivent prouver leur contribution, l’incrémentalité n’est pas un luxe analytique. C’est une discipline de pilotage. Elle oblige les équipes à poser de meilleures questions : ce canal crée-t-il de la demande ou la capte-t-il ? Cette audience est-elle réellement incrémentale ou déjà acquise ? Ce budget augmente-t-il la valeur totale ou déplace-t-il simplement les conversions entre points de contact ? Les organisations qui sauront répondre avec méthode ne mesureront pas seulement mieux leur marketing. Elles investiront mieux leur mix média.
