O problema
Keeta e 99Food entraram no delivery com cupom pesado. A resposta mais fácil de qualquer líder é igualar o desconto para todo mundo. Mas será que ela é a certa? Dar R$ 10 para quem já ia pedir de qualquer jeito não vende mais nada: só entrega dinheiro. A pergunta do estudo é quanto do cupom vira pedido novo de verdade.
Como testei
Em vez de supor números, montei um experimento de verdade, um teste A/B, com dados simulados.
Nos primeiros 60 dias ninguém tem cupom: serve para entender o comportamento normal de cada cliente e classificá-lo (fiel, regular, ocasional, quase inativo). Nos 30 dias seguintes, sorteei metade dos clientes para o grupo tratamento (pode resgatar cupom) e metade para o controle (nunca recebe). Os dois rodam ao mesmo tempo, então sazonalidade e datas comemorativas afetam os dois do mesmo jeito e se cancelam na comparação.
As duas consultas SQL
A primeira classifica cada cliente usando só o baseline. Se usasse a campanha, o cupom contaminaria a classificação. A segunda cruza o perfil com o grupo do experimento, olhando os pedidos da campanha, com LEFT JOIN para não perder quem não pediu nada (senão a taxa de pedido ficaria inflada).
O efeito é real?
O cliente fiel fez em média 10,30 pedidos no grupo tratamento contra 9,89 no controle: 0,41 pedido a mais. Esse número sozinho não prova nada, porque um sorteio pode gerar diferenças por pura sorte. O p-valor mede exatamente isso: a chance de ver uma diferença desse tamanho se o cupom não mudasse nada. Nos quatro perfis ela ficou muito abaixo de 5%.
O intervalo de confiança de 95% completa a leitura: em vez de um número exato, uma faixa plausível para o efeito, que virou três cenários (conservador, base e otimista).
A virada: real não é o mesmo que relevante
Todo perfil respondeu ao cupom. Mas responder não significa compensar. Cada pedido extra custou, em média:
O cliente fiel já pedia quase 10 vezes por mês sem cupom, então o "a mais" foi pequeno e caro. Mesmo no cenário mais favorável ao cupom, ele ainda custa R$ 106,40 por pedido extra. Já o cliente quase inativo tem faixa larga, de R$ 15,60 a R$ 65,90: ainda há incerteza, e por isso vale continuar testando.
O que eu recomendaria
stat: Cliente fiel: cortar o cupom de desconto e trocar por benefício de fidelidade. A decisão se sustenta até no pior cenário.
stat: Regular e ocasional: reduzir o orçamento e testar um cupom menor.
stat: Quase inativo: manter o cupom e aprofundar o teste.
Limites da análise
Os dados são simulados, e a margem de R$ 6 por pedido é uma premissa, não algo medido (em dados reais viria de receita menos comissão, entrega e taxas). Além disso, o estudo mede o efeito imediato dos 30 dias: não sei se o cliente que voltou a pedir por causa do cupom continuou pedindo depois.
Código
Notebook completo, com cada consulta e cada cálculo: https://colab.research.google.com/drive/1R9EQeuoEaCSbtVLK1WzTxhJZZFREDjG8?usp=sharing