Teste uma variante e tenha uma resposta clara
Uma variável por vez, volume suficiente e uma decisão escrita de antemão. Sem os três, um teste não prova nada.
Uma só variável
Um teste A/B compara duas versões de um anúncio que só diferem em uma coisa: a imagem, o gancho ou o público. Mude a imagem e o gancho ao mesmo tempo e, se a versão B ganhar, você sabe que ela ganhou, mas não por quê. Então não dá para reaproveitar nada.
Essa disciplina é ingrata: ela deixa você mais lento. Mas é também o único jeito de construir, teste após teste, um conhecimento real do que funciona no seu mercado.
Volume suficiente para decidir
Um teste precisa de eventos suficientes em cada versão para a diferença não ser sorte. Com meia dúzia de resultados de cada lado, até uma grande diferença pode ser puro ruído.
Se seu volume for baixo demais, teste com um evento mais frequente, como cliques ou adições ao carrinho. Só lembre que você está medindo uma etapa do caminho, não a venda.
Dê também ao teste um ciclo completo: uma semana inteira, não três dias, para que os fins de semana e os dias fracos pesem igual nas duas versões. Um teste encerrado numa terça à noite muitas vezes compara dois momentos, não dois criativos.
Decida antes de olhar
Antes de lançar, escreva o que você vai observar, por quanto tempo e o que vai fazer você escolher. Caso contrário, você sempre vai encontrar um número que dá razão à sua versão preferida.
Uma regra simples: uma métrica principal, um prazo fixo, uma decisão. Manter, substituir ou relançar. Nada mais.
O que você aprende quando perde
Uma variante perdedora não é um teste fracassado. Ela mostrou que um ângulo não funciona nesse mercado, e vale a pena saber disso: você não vai tentar de novo daqui a três meses.
Registre cada resultado, vencedores e perdedores, num lugar permanente. Depois de alguns meses, essa lista vale mais do que qualquer guia genérico de boas práticas. Ela fala do seu público.