A primeira vez que ouvi falar sobre teste A/B foi numa conversa com um UX Designer, Everton Hostyn, na qual ele comentava sobre a prática de testar hipóteses e entender o comportamento do usuário em uma determinada página.
Lembro que, de primeiro momento, demorei um pouco para realmente ter interesse em entender a importância dessa prática. Tudo tem seu tempo na vida, né?
Quer uma experiência diferenciada? Ouça o conteúdo na íntegra:
Quando Everton trouxe os resultados, explicando o estudo por trás do teste A/B, pude perceber que por trás daquele exercício poderíamos encontrar um super aliado para tomadas de decisões futuras. Mais do que isso, a prática poderia ser aplicada em diversas situações, não somente para comportamentos em páginas. Inclusive, um tempo depois, ele escreveu um post para o blog com ferramentas para análise de comportamento de usuários, em uma delas ele fala de testes A/B.
Nos dias que se passaram, lembro que fiz algumas pesquisas sobre o assunto e suas possíveis aplicações.
“Como que eu nunca tinha pensado antes nisso?”,
eu me perguntava.
No final das contas, percebi que a prática sempre caminhou comigo durante esses mais de dez anos que trabalho com marketing digital. Eu só não dava o nome exato nem fazia o que todo usuário de teste a/b deve fazer: determinar qual das duas hipóteses pode gerar maior taxa de conversão para o propósito em questão.
Eu preciso confessar que nunca fui grande amante dos números. Antes de entrar para a área de comunicação, cursei metade da faculdade de Administração e saí jogando a toalha branca e pedindo por liberdade. Mas o mundo dá voltas, né? Eis que me deparo hoje que os números são essenciais para tomadas de decisões mais assertivas.
“Os testes A/B eliminam a necessidade de fazer deduções e nos permitem que possamos tomar decisões baseados em números”
me peguei explicando outro dia, como um fiel amante das exatas. Quem diria. De uma pessoa avesso a números, me tornei um explícito admirador.
Mas o que são testes A/B?
Explicando de forma mais direta, posso dizer que trata-se de um método que compara duas versões (seja de um site ou de emails), uma contra a outra, com a finalidade de determinar qual das duas performa melhor.
Na prática estes testes são essencialmente um experimento no qual duas ou mais variáveis do objeto de estudo são exibidos aos usuários de forma aleatória. Já a análise estatística é usada para determinar qual variação teve melhor desempenho para uma determinada meta de conversão.
O que podemos testar?
Lembro que quando era pequeno, meus pais sempre me apresentavam como o filho curioso, que sempre queria entender e descobrir coisas novas. Uma boa crença para ser aproveitada agora.
Tão logo descobri o potencial dos testes A/B, parti para descobrir onde poderia ser aplicado.
Há uma infinidade de possibilidades a serem testadas. Para se ter uma ideia, enquanto pesquisava sobre isso, descobri o seguinte em relação à quantidade de testes por:
Netflix – Mais de 1200 testes por ano
Booking.com – 1000 testes em tempo real
Facebook – 99% de chances de você estar em 10 testes
Amazon – 7000 testes em 2011
Google – 100,000 testes ano passado.
No entanto, se formos trazer para nossa realidade do Marketing Digital, podemos realizar essa prática em pontos como email, sites, anúncios, etc.
Teste A/B em email marketing
Uma das primeiras aplicações que eu descobri foi em emails. E foi bem por acaso.
Eu havia acabado de voltar de uma viagem naquele feriado no meio de outubro (quatro dias na praia sem ser alta estação, uma delícia!). Desfiz as malas, fui para o computador e acessar meu email pessoal, dezenas de diversas mensagens não lidas.
Qual o primeiro impulso? Selecionar tudo e mandar para lixeira. Mas vai que uma das mensagens pudesse ser importante?
Passei os olhos, um a um, até que abri um dos e-mails. O assunto era o seguinte:
“What happened yesterday”
Tratava-se de um aviso do Google a respeito de um erro ocorrido nos modelos de ChoromeCast. O assunto, bem genérico, poderia ser sobre qualquer tema. Foi o suficiente para me fazer clicar.
Mas o que isso tem a ver com teste A/B? Muito!
O teste A/B é um excelente parceiro para melhorar as métricas de visualização, captação, conversão, taxa de cliques, entre outras. Para deixar mais prático, vou explicar em forma de passo como podemos fazer a aplicação em emails.
1º Passo: definição da variável
Nesta etapa, você define a métrica que deseja aperfeiçoar. Portanto, é necessário escolher a variável que deseja alterar para mensurar qual a melhor opção de aplicação. Por exemplo, caso queira avaliar se o “Produto X” ou “Produto Y” gera um maior índice de visualização no assunto do e-mail, crie duas variações dele:
Subject A: Produto X em 12x sem juros e Frete Zero em todo site.
Subject B: Produto Y em 12x sem juros e Frete Zero em todo site.
2º Passo: porcentagem da base utilizada no teste
Aqui, precisamos definir o número suficiente de contatos impactados pelo teste para observar um padrão de comportamento:
Subject A: enviado para o segmento X (que representa 5% da base)
Subject B: Enviado para o segmento Y (que representa 5% da base)
Pronto, agora já podemos realizar o envio de teste.
3º Passo: coleta de resultado
Aqui é o seguinte: depois de realizado o envio dos emails, necessitamos colher as métricas para avaliar o resultado e realizar o envio da opção vencedora para o restante da base. Além disso, o tempo para a coleta de dados varia conforme o tipo de teste e tamanho das amostras de contatos que utilizamos.
O bacana de fazer essa prática é que, além de caminhar em direção a resultados mais assertivos, você consegue perceber que até mesmo os melhores insights sobre a forma de anunciar um determinado produto estão mais próximos do que pensávamos.
Fica claro também que um teste A/B bem elaborado faz com que as empresas conheçam melhor os desejos de consumo dos seus respectivos clientes.
Sabe aquela máxima de conhecer bem os seus clientes? Aqui ela se encaixa perfeitamente. Quanto mais conhecemos os clientes da nossa empresa, mais sabemos sobre o que eles desejam. Isso gera um baita diferencial competitivo em frente às outras empresas.
Teste A/B em páginas
Lembram quando comentei do meu papo com o UX, Everton Hostyn? Ele foi quem me explicou como funcionava o teste A/B em páginas. Eu tinha acabado de entrar na KingHost, não fazia nem dois meses que estava me inserindo à rotina e à cultura da empresa.
Sempre observava os momentos que algumas pessoas iam à cozinha abastecer as divertidas canecas de café e pegava carona. Isso acaba substituindo aquela pausa para fumar cigarro, já que nunca fumei.
Em uma dessas idas para buscar café, perguntei sobre como era o funcionamento desses testes A/B na página que ele estava testando. Lembro quase com exatidão as palavras que ele usou para me explicar:
“a gente tá testando uma hipótese para aumentar a venda de planos com periodicidade anual do site. Identificamos uma hipótese e mudamos o texto do banner da home. Agora vamos aguardar para poder validar a hipótese e ver se conseguimos atingir o objetivo”.
Algumas semanas e vários cafés depois, conseguimos validar a hipótese e alcançamos um aumento de 34% na receita referente à periodicidade anual. Sucesso! Teste A/B é sucesso…
Teste A/B é sucesso? Sim, porém depende.
É na dor que às vezes temos nossos principais aprendizados, né? Pois então, foi assim que entendi que há cuidados que precisamos ter ao colocar em prática um teste AB.
Ao comentar sobre a prática com alguns ex-colegas de faculdade, não comentei o conselho de que os testes AB devem ser ignorados por iniciantes em Marketing Digital. Isso porque para se poder validar uma hipótese, precisamos ter um número considerável e robusto de visitantes em uma página; ou ainda um número grande de contatos em uma lista de e-mails para se conseguir analisar de forma mais assertiva.
Outra questão que deve ser sempre lembrada é que todos os testes, mesmos aqueles nos quais os experimentos fracassam e não se consegue ver uma diferença considerável entre uma versão e outra testada, precisam ser registrados como aprendizados. Organize eles numa planilha de experimentos, de forma que mais pessoas da sua equipe ou empresa possam ter acesso ao conhecimento registrado ali.
Aqui deixo uma mensagem importante: não se pode desistir ou deixar de seguir testando até que consigamos (ou que possamos chegar perto) de validar uma hipótese. Não esmoreça!
Caso você se sinta pronto para descobrir mais sobre testes A/B e em como o seu negócio pode alcançar o sucesso na Internet, clique no banner abaixo e fale com um dos especialistas aqui da KingHost. Conheço quase todo mundo e posso garantir: eles são demais!
E você, já fez algum teste A/B? Ficou com alguma dúvida? Deixe aqui nos comentários do Blog da KingHost!
