Come interpretare i risultati del test AB
Eseguire un test AB è la parte facile. Dare un senso ai risultati e trasformarli in conoscenze utili sul pubblico richiede un po' più di riflessione. Questo articolo aiuta a leggere correttamente i risultati del test, a impostare aspettative realistiche e a costruire un'abitudine di test che migliora davvero le campagne nel tempo.
Cosa dicono realmente i risultati
Quando il test AB è completato, si vedrà il tasso di apertura o il tasso di click per ciascuna variante nel report della campagna. La variante vincente è chiaramente indicata, ma il numero stesso merita un po' di contesto prima di trarre conclusioni.
Una differenza di 1 o 2 punti percentuali tra due varianti non è un risultato significativo. Con liste di contatti più piccole in particolare, i margini ridotti possono essere il risultato dei tempi, della casualità o dei contatti specifici che si trovavano nel gruppo di test quel giorno. Prima di cambiare l'intero approccio in base a un risultato, ci si chieda: questa differenza è abbastanza grande da essere convincente?
Una guida approssimativa:
- Una differenza inferiore a 2 punti percentuali: trattarla come inconcludente. Entrambe le varianti hanno avuto prestazioni simili per il pubblico.
- Una differenza da 3 a 5 punti percentuali: questo è un segnale utile, ma vale la pena confermarlo con un test di follow-up.
- Una differenza superiore a 5 punti percentuali: questo è un risultato chiaro su cui si può agire con fiducia.
Non aspettarsi cambiamenti drastici
È comune aspettarsi che l'oggetto o l'immagine giusti cambino drasticamente i risultati. In pratica, i test AB tendono a produrre miglioramenti incrementali. Un test sull'oggetto potrebbe spostare il tasso di apertura dal 24% al 27%. Non è un titolo spettacolare, ma applicato costantemente in ogni campagna inviata, nel tempo si traduce in una lista con prestazioni significativamente migliori.
Il valore dei test AB non sta nel trovare una formula magica. Sta nel fare miglioramenti costanti e basati su prove che si accumulano nel corso di mesi e anni.
La frequenza e la coerenza contano
Un test dice qualcosa su una campagna. Eseguire test costantemente su molte campagne dice qualcosa sul pubblico.
Se si testa solo occasionalmente, non si riuscirà a distinguere uno schema genuino da un risultato isolato. Un oggetto che ha funzionato bene a gennaio potrebbe aver beneficiato di un argomento stagionale, di un evento specifico delle notizie o della composizione di quella particolare lista di invio. Solo quando si vede lo stesso tipo di oggetto sovraperformare costantemente su più invii si può affermare con fiducia che funziona per il proprio pubblico.
Si cerchi di includere un test AB in ogni campagna dove ha senso. Nel tempo, si inizieranno a notare degli schemi: i contatti potrebbero rispondere costantemente meglio alle domande negli oggetti, a un nome mittente specifico, o a un particolare stile di immagine call-to-action. Quella conoscenza accumulata è più utile di qualsiasi singolo risultato di test.
Testare una cosa alla volta
Questo punto vale la pena ripetere anche se lo si è già letto altrove. Se si modificano sia l'oggetto che il mittente nella stessa campagna, non si può sapere quale modifica ha determinato la differenza nel tasso di apertura. Ogni test dovrebbe isolare una singola variabile.
Ciò significa anche essere pazienti. Testare un elemento per campagna significa costruire conoscenza gradualmente, non tutta in una volta. Questo è l'approccio giusto.
Tenere un registro dei risultati
Flexmail mostra i risultati di ogni singolo test nel report della campagna, ma non aggrega automaticamente gli schemi tra le campagne. Si tenga un registro semplice — anche un foglio di calcolo con il nome della campagna, cosa si è testato, il risultato per ogni variante e il margine. Dopo dieci o venti test, si avrà un quadro chiaro di ciò che risuona con il proprio pubblico.
Come appaiono realmente buoni tassi di apertura e di click
Se si è nuovi all'email marketing, può essere difficile sapere se i propri risultati sono buoni o meno. I benchmark del settore variano ampiamente per settore, dimensione della lista e frequenza di invio, quindi usarli come orientamento approssimativo, non come obiettivo da raggiungere.
Più rilevante delle medie di settore è il proprio trend nel tempo. Il tasso di apertura sta migliorando, restando stabile o diminuendo nelle ultime dieci campagne? Quel trend è quello che gli sforzi di test AB dovrebbero spostare in direzione positiva.
Consiglio del supporto Se i tassi di apertura sono in calo nel tempo, il problema potrebbe non essere affatto negli oggetti. La qualità della lista, la frequenza di invio e la reputazione del mittente influenzano tutti la deliverability e il coinvolgimento. I test AB funzionano meglio su una lista sana e coinvolta. Se si registra un calo generalizzato, contattare il team di supporto prima di investire molto nei test sugli oggetti.
Passi successivi
- Si controllino gli ultimi tre report di campagna e si noti il margine tra le varianti. Qualcuno era troppo vicino per essere conclusivo?
- Si avvii un registro semplice per tracciare i risultati dei test nel tempo.
- Si legga "Cosa rende un buon oggetto?" per idee su cosa testare successivamente.
- Una volta effettuati alcuni test, si provi a combinare i test AB con la segmentazione per costruire insight specifici per il pubblico.