Você está medindo impacto, ou só torcendo?

Toda empresa investe em iniciativas para vender mais: um novo treinamento, uma mudança no processo, uma ferramenta nova. E quase toda empresa avalia essas iniciativas da mesma forma: olha as vendas depois, vê que subiram, e conclui que funcionou.

O problema é que "subiu depois" não é "subiu por causa". As vendas podem ter subido por mil motivos: uma temporada aquecida, uma mudança de meta, um concorrente que tropeçou. Sem uma forma de isolar o efeito da iniciativa, você não está medindo impacto: está torcendo para que a coincidência esteja do seu lado.

O design de experimentos é uma disciplina comum em produto e marketing, e estranhamente rara em treinamento de vendas e em iniciativas de performance. Este artigo mostra como aplicá-la, sem matemática pesada.

1. O problema: correlação não é causa

Duas coisas andarem juntas não significa que uma causou a outra. É o erro mais comum, e o mais convincente. Vendas de sorvete e afogamentos sobem juntos no verão, mas o sorvete não afoga ninguém: é o calor que puxa os dois. No seu contexto, os vendedores que mais usaram a ferramenta nova talvez já fossem os melhores antes de usá-la. A ferramenta pode não ter causado nada.

As duas curvas sobem lado a lado ao longo do ano. Isso não diz nada sobre causa: um mercado aquecido, uma mudança de meta ou um concorrente em dificuldade explicariam o mesmo gráfico.

Se você só olha os dois números subindo lado a lado, é fácil "provar" praticamente qualquer coisa. Para afirmar causa, você precisa de um ponto de comparação: o que teria acontecido sem a iniciativa?

2. A solução: o experimento controlado

A resposta é o velho e bom teste A/B, ou experimento controlado. A ideia é simples: um grupo recebe a iniciativa (tratamento), outro grupo parecido não recebe (controle), no mesmo período. Se o grupo de tratamento sobe mais que o de controle, você isolou o efeito da iniciativa daquilo que é apenas "maré do mercado", porque o mercado atingiu os dois grupos igualmente.

Para o grupo de controle funcionar, os dois grupos precisam ser parecidos e sorteados de forma aleatória. Assim, na média, a única diferença sistemática entre eles é a iniciativa. E precisam rodar em paralelo, nos mesmos meses, para que qualquer movimento de mercado apareça nos dois lados e se cancele.

3. Sinal ou barulho: quando a diferença é real

Digamos que o grupo com a iniciativa bateu 85% da meta e o controle, 80%. Esses 5 pontos são efeito real ou estão dentro da variação normal entre dois grupos? A resposta depende do barulho, ou seja, o quanto os resultados variam naturalmente de pessoa para pessoa e de mês para mês.

À esquerda e à direita, a diferença entre as médias é exatamente a mesma. O que muda é a variação em volta delas: quando as curvas se sobrepõem, os 5 pontos cabem dentro do acaso; quando se separam, não cabem.

É aqui que entra a significância estatística. Sem fórmula: ela responde "qual a chance de eu ver uma diferença desse tamanho mesmo que a iniciativa não fizesse nada?". Se essa chance é baixa (a convenção é abaixo de 5%), chamamos o resultado de significativo: difícil de explicar por puro acaso. Quanto mais gente no teste e menor o barulho, mais fácil separar o sinal do barulho.

Uma forma honesta de reportar o resultado é o intervalo de confiança: em vez de um número seco, uma faixa, como "ganho entre 3% e 11%". Se a faixa é estreita e toda positiva, você tem evidência sólida. Se ela cruza o zero, o resultado é inconclusivo.

4. As três decisões do experimento

Antes de rodar, você define três coisas:

A métrica. O que exatamente você vai medir? Prefira uma métrica de performance na mesma régua para todos, como percentual de atingimento de meta, em vez de valores brutos que misturam carteiras de tamanhos diferentes.
O grupo de teste e o grupo de controle. Quem recebe a iniciativa e quem não recebe. Os dois grupos precisam ser parecidos e sorteados de forma aleatória, para que a única diferença sistemática entre eles seja a iniciativa, e devem rodar em paralelo, nos mesmos meses, para que o mercado se cancele.
O tempo do experimento. Por quanto tempo medir antes de comparar. Janelas mais longas reduzem o barulho e estabilizam o resultado.

5. Como definir quantas pessoas no experimento?

O tamanho da amostra não é um chute: ele sai de três fatores. Junte os três e você chega ao número de pessoas por grupo.

A variabilidade (o desvio padrão nos grupos). Primeiro, meça o quanto o resultado varia naturalmente, entre pessoas e de mês para mês. Quanto maior o desvio padrão, mais barulho, e mais gente você precisa para enxergar o efeito no meio dele.
O efeito mínimo que importa (EMD). O menor ganho que ainda justificaria adotar a iniciativa. É a alavanca mais cara: detectar metade do efeito custa cerca de quatro vezes mais pessoas.
O rigor (confiança e poder). Quão pouco você aceita errar, tanto declarar um efeito que não existe quanto deixar passar um que existe. Mais rigor, mais gente.

A conta cresce ao quadrado, não em linha reta: passar de 10 para 5 pontos de efeito mínimo multiplica o piloto por quatro. É a decisão mais cara do desenho, e a que quase ninguém toma de forma explícita.

Você não precisa fazer essa conta na mão: qualquer calculadora de tamanho de amostra resolve isso a partir desses três fatores. O trabalho de verdade é definir os três com honestidade, antes de rodar o piloto.

6. E quando não dá para ter um controle perfeito?

Nem sempre é possível dividir a equipe em dois grupos. Há dois caminhos alternativos, em ordem de confiabilidade.

O antes/depois compara o mesmo grupo antes e depois da iniciativa. É simples, mas perigoso: ele credita à iniciativa qualquer coisa que tenha mudado no período, inclusive sazonalidade e mercado. Só use quando não houver alternativa e você puder argumentar que nada grande mudou por fora.

Melhor que isso é o método de diferenças-em-diferenças: você compara a variação do grupo de tratamento com a variação do grupo de controle. O que o mercado fez aparece nos dois e se cancela; o que sobra é o efeito da iniciativa. É o meio-termo robusto quando você tem um controle e algum histórico.

O grupo de tratamento subiu 11,5 pontos, mas o controle subiu 2 no mesmo período — esses 2 pontos são mercado, não iniciativa. Descontando-os, o efeito atribuível é de 9,5 pontos.

7. Um passo a passo para aplicar amanhã

Defina a métrica de performance, na mesma régua para todos.
Defina o grupo de teste e o de controle, sorteados de forma aleatória.
Defina o tempo do experimento.
Estime o barulho (desvio padrão) a partir do histórico da sua operação.
Defina o efeito mínimo e o rigor e calcule a amostra.
Rode em paralelo, medindo os dois grupos nos mesmos meses.
Leia com o intervalo de confiança, não com um número solto.

O objetivo não é transformar a área de vendas em um laboratório. É parar de tomar decisões de milhões com base em um gráfico que subiu. Um piloto bem desenhado custa algumas semanas a mais de planejamento e devolve algo que nenhuma planilha de "antes e depois" consegue dar: a certeza de que o que você está prestes a escalar realmente funciona.