Autor: Geraldo Lopes de Souza Júnior
“No futuro, o pensamento estatístico será tão necessário para a cidadania eficiente como saber ler e escrever” (H. G. Wells)
Caboco, descobri que existe um momento na vida de todo estatístico em que ele percebe que estudou quatro semestres de inferência, dois de amostragem, um de desenho experimental e mais de cinquenta horas de sofrimento em R para descobrir que, no fim das contas, o Brasil decidiu resolver metodologia por liminar.
Eu confesso que fiquei preocupado quando vi a notícia. Não porque concordo ou discordo da pesquisa. Pesquisa boa erra. Pesquisa ruim acerta. Relógio parado também acerta duas vezes por dia e nem por isso ganha registro no Conselho Regional de Estatística (CONRE).
O que me incomodou não foi o resultado da pesquisa; foi a cena. Pela primeira vez em muito tempo, vi uma discussão estatística sendo tratada como se fosse discussão de trânsito: “encosta aí que essa pergunta tá irregular”.
O que aconteceu vocês sabem.
Uma pesquisa da AtlasIntel tentou medir o impacto eleitoral de um áudio envolvendo Flávio Bolsonaro e Daniel Vorcaro, no caso Banco Master. O desenho incluía exposição a conteúdo e avaliação posterior. O PL entrou na Justiça sustentando que aquilo não era apenas medição de opinião — seria indução. O movimento veio depois que o levantamento trouxe resultados politicamente desfavoráveis para Flávio Bolsonaro, e a tentativa passou a ser impedir nova divulgação e impulsionamento da pesquisa. O presidente do TSE, Nunes Marques, escolhido por Jair Bolsonaro por ser “terrivelmente evangélico” concedeu liminar apontando suspeita de contaminação metodológica e necessidade de discutir os limites desse tipo de instrumento. Será que ele se baseou em texto bíblico? Na Parábola da ovelha perdida Jesus usa uma proporção estatística clara (99% versus 1%) para demonstrar o valor individual de uma vida para Deus.
Percebam que meu susto não foi jurídico. Tribunal discutindo regra de pesquisa é da democracia. Pesquisa eleitoral não é tabu religioso nem dogma científico. Pode ser questionada e deve ser questionada. O problema começou quando uma discussão que deveria mobilizar estatísticos, cientistas sociais, especialistas em survey e desenho experimental acabou sendo conduzida quase exclusivamente por advogados, comentaristas políticos e gente que usa a palavra “inferência” como se fosse signo do zodíaco.
Cadê os estatísticos?
Porque quando aparece biólogo opinando sobre vacina com alpha > 0,05, estatístico reclama. Quando advogado mexe em tabela sem intervalo de confiança, estatístico reclama. Quando jornalista chama margem de erro de “diferença pequena”, estatístico escreve textão, abre planilha, cita artigo, invoca Cochran e Pearson como se fossem dupla sertaneja e ameaça abrir o R Studio em praça pública. Mas quando o país inteiro começa a discutir se estímulo informacional invalida inferência estatística… silêncio.
Conselhos regionais em posição fetal. Conselho federal em modo avião. Nem para soltar uma nota metodológica. Não para dizer que Nunes Marques estava errado. Não para dizer que Atlas estava certa. Só para entrar na sala, bater na mesa e dizer: “Pessoal, antes de continuarmos essa briga, alguém aqui sabe exatamente o que está sendo discutido?”
E existe um risco silencioso nisso tudo. Profissão não perde espaço apenas quando erra; às vezes perde espaço quando se ausenta. Se estatístico aparece só para calcular tamanho de amostra, validar regressão e colocar nota técnica no apêndice, mas desaparece quando o debate vai para a praça pública, alguém ocupa o lugar.
Advogado interpreta método. Jornalista simplifica método. Cientista político traduz método. Influenciador explica método em vídeo vertical com música acelerada ao fundo. Quando a poeira baixa, a sociedade conclui que metodologia estatística é assunto de qualquer um — menos dos estatísticos. E aí estatístico vira operador de planilha e outra profissão vira dona da interpretação.
Delineamento
Porque a nota nem precisava ser complicada. Traduzindo para português humano, ela seria mais ou menos assim.
Imagina que tu queres descobrir se teu amigo gosta de tacacá. Pesquisa é perguntar: “Maninho, tu gostas de tacacá?”
Experimento é diferente. É colocar o caboco numa sala, servir um tacacá fumegando, botar um boi ou um carimbó ao fundo, deixar chover lá fora, reduzir a luz, deixar subir cheiro de tucupi com a pimenta murupi e depois perguntar: “E agora? Mudou de ideia?”
Nos dois casos tu estás fazendo ciência. Nos dois casos tu estás coletando informação. Nos dois casos pode existir rigor metodológico. Mas não estás respondendo a mesma pergunta. O problema não é mostrar o tacacá. O problema é vender depois o resultado como se a pessoa já tivesse entrado na sala querendo tacacá.
Outro exemplo. Se eu quero saber se tu gostas de MPB, eu pergunto. Se antes eu te coloco para ouvir Chico Buarque, Gilberto Gil, Caetano Veloso, Geraldo Vandré e companhia, mostro imagens da ditadura militar, relembro censura, exílio, passeatas, plateias emocionadas e termino com alguém dizendo que aquelas músicas ajudaram a preservar a democracia brasileira, eu já não estou só medindo. Estou montando cenário. Isso não torna o estudo inválido. Só obriga quem fez a pesquisa a explicar exatamente o que está medindo.
E já que abriram o Supremo Tribunal Federal da Metodologia, deixa esse modesto estatístico aqui explicar duas expressões que aparecem em toda eleição e normalmente são usadas como se fossem feitiço de Harry Potter: margem de erro e nível de confiança.
Sempre aparece alguém dizendo: “essa pesquisa tem margem de erro de dois pontos percentuais para mais ou para menos”, com a autoridade de quem apresentou escritura registrada em cartório. Só que margem de erro não é o quanto a pesquisa pode errar. Vou repetir porque estatístico gosta de repetir definição como padre gosta de repetir homilia: margem de erro não é o quanto a pesquisa pode errar. Margem de erro é o quanto o resultado pode variar simplesmente porque tu perguntaste para uma amostra e não para todo mundo.
Imagina que tu queres descobrir se o tacacá está salgado. Tu não bebes a panela inteira. Tu pega uma colher. A margem de erro é mais ou menos o quanto aquela colher pode estar diferente da panela toda. Quanto mais colheradas, menor tende a ser essa diferença. Quanto menos colheradas, maior a chance de pegar justamente a colher mais carregada de jambu e sair anunciando que a população enlouqueceu.
Já o nível de confiança também sofre maus-tratos em época eleitoral. Quando alguém diz que uma pesquisa tem 95% de confiança, isso não significa que existe 95% de chance de ela estar certa. Se fosse assim, estatístico não faria pesquisa; faria aposta esportiva. Nível de confiança é confiança no procedimento. Quer dizer que, repetindo aquele processo muitas vezes, em condições semelhantes, na maior parte delas o resultado cairia dentro daquela faixa esperada. É confiança na colher. Não é profecia sobre a panela.
E aqui entra o detalhe que quase nunca aparece no debate público: margem de erro e nível de confiança só falam do erro amostral. Eles não medem pergunta mal escrita, não medem gente mentindo, não medem quem desligou na tua cara, não medem vídeo emocional antes do questionário, não medem ordem das perguntas, não medem desenho amostral ruim e não medem amostra enviesada. Então, quando alguém encerra uma discussão metodológica dizendo “mas a margem de erro é de dois pontos”, o estatístico escuta aquilo como quem ouve alguém dizer que o barco está seguro porque o colete salva-vidas está homologado. Pode até ser verdade. Mas ainda convém olhar se não tem um buraco no casco.
Era isso que uma nota metodológica deveria dizer. Nada além. Nada menos.
Análises
Mas aí veio o trecho mais brasileiro da história.
A pesquisa produziu um resultado desfavorável para Flávio Bolsonaro. O partido contestou a metodologia, argumentou que havia indução e buscou impedir nova divulgação e impulsionamento do levantamento. Até aí, faz parte do jogo democrático. Quem se sente prejudicado questiona regra, pede revisão, pede auditoria, pede perícia e, se deixar, pede até recalcular o intervalo de confiança.
Só que aí aconteceu uma coisa curiosa. A tentativa de reduzir o alcance da pesquisa acabou transformando a pesquisa em notícia.
Porque uma coisa é sair um levantamento dizendo que determinado fato produziu desgaste político. Outra completamente diferente é o presidente do TSE conceder liminar, abrir debate sobre metodologia e colocar o tema na capa dos jornais.
Descobriram uma lei antiga da internet e uma ainda mais antiga da política: não existe divulgação mais eficiente do que tentar impedir divulgação.
A pesquisa que era assunto de nicho virou assunto nacional. Gente que nunca tinha ouvido falar em AtlasIntel começou a discutir desenho experimental. Gente que nunca tinha ouvido falar em margem de erro começou a perguntar o que era efeito de enquadramento. Gente que nunca tinha ouvido falar em Banco Master foi procurar entender quem era Daniel Vorcaro e por que aquele assunto apareceu dentro de um levantamento eleitoral.
E aqui existe uma ironia metodológica particularmente bonita.
Se a hipótese era que expor pessoas a determinada informação poderia alterar percepção, a estratégia escolhida acabou produzindo exatamente isso — só que numa escala muito maior.
Porque a liminar tirou o assunto do ambiente relativamente controlado do questionário e colocou o tema no ambiente selvagem da internet, dos programas políticos, dos cortes de vídeo, dos grupos de WhatsApp, das mesas de bar e do almoço de domingo.
Saiu do experimento. Virou observação.
Saiu da amostra. Virou população.
No programa Ponto de Vista, o colunista Robson Bonin, da VEJA, descreveu o episódio como um novo “tiro no pé” da campanha de Flávio Bolsonaro. O argumento dele não era jurídico nem metodológico: era comunicacional. Segundo Bonin, o tema estava perdendo tração política e a decisão recolocou o episódio no centro do debate público.
No fim, ficou aquela sensação tipicamente brasileira.
Entraram para discutir viés e saíram produzindo efeito de amplificação. Tentaram derrubar um gráfico e acabaram criando um estudo de caso.
Relatório final
Depois de observação dos fatos, análise dos argumentos, revisão da literatura improvisada em rede social e aplicação do bom senso em nível de significância não especificado, este estatístico aqui conclui o seguinte:
- Primeiro, que pesquisa não é plebiscito da realidade. Pesquisa mede. Às vezes mede bem. Às vezes mede mal. Às vezes mede outra coisa e descobre depois;
- Segundo, que metodologia não deveria ser assunto exclusivo de juiz, político ou comentarista de televisão. Quando estatístico abandona o debate metodológico, alguém ocupa o lugar. E normalmente ocupa sem intervalo de confiança. Se estatístico aparecer apenas para calcular tamanho de amostra e desaparecer quando o método vira assunto público, daqui a pouco o papel da categoria será apertar botão e emitir tabela enquanto outras profissões ficam com o direito de interpretar;
- Terceiro, que margem de erro não é benzimento estatístico. Não elimina viés, não corrige pergunta ruim e não transforma desenho torto em ciência de ponta. Estatística não é selo de autenticidade. É método. E método continua exigindo interpretação, transparência e discussão;
- Quarto, que impedir circulação de informação para reduzir o alcance de uma informação continua sendo uma estratégia que merece investigação adicional, porque os resultados observados até aqui sugerem uma curiosa tendência de produzir exatamente o efeito que se pretendia evitar. Recomenda-se aprofundamento da pesquisa com desenho longitudinal e acompanhamento dos desdobramentos. Mas se eles quiserem continuar cometendo o mesmo erro, os adversários darão a maior força;
- Quinto, que talvez H. G. Wells estivesse certo e pensamento estatístico realmente seja requisito para cidadania moderna. Porque aparentemente entramos numa fase histórica em que todo mundo quer discutir pesquisa, mas pouca gente quer discutir como pesquisa funciona;
- Sexto, e aqui entramos no campo do óbvio ululante de Nelson Rodrigues, dirigindo aos Flávios Bolsonaros da vida o seguinte conselho: se uma pesquisa te desagrada e tua reação produz dez vezes mais gente falando dela, talvez o problema já não esteja no desenho amostral. Porque, nesse caso, o experimento já não era da Atlas. Era teu.
Por fim, este pesquisador informa que não foram encontradas evidências estatisticamente significativas para afirmar que o Brasil enlouqueceu.
Entretanto, recomenda-se cautela.
Novas coletas serão realizadas. Amostragem contínua. Monitoramento permanente. E, em caso de aumento súbito de ruído metodológico, procurar imediatamente o estatístico mais próximo.
Com o devido respeito, concluo lembrando que Nunes Marques pode mudar sua decisão, como já o fez no passado. Em 6 de dezembro de 2021, ele manteve a condenação de uma mulher presa em flagrante em 2013 por furtar, em Boa Esperança (MG), 18 barras de chocolate e 89 caixinhas de chiclete avaliadas em R$ 50 para venda no sinal de trânsito. Talvez o ministro “terrivelmente evangélico” tivesse como referência o 7º mandamento entregue a Moisés no Monte Sinai: Não furtarás.
A Defensoria Pública de Minas Gerais recorreu e apelou ao Código Penal para pedir a aplicação do princípio da insignificância. Afinal, o que representam R$ 50 diante dos bilhões associados às investigações envolvendo Daniel Vorcaro? Nunes Marques levou 18 meses e voltou atrás em sua própria decisão somente em 26 de junho de 2023. O ministro seguiu entendimento semelhante ao adotado anteriormente por Cármen Lúcia que, com base nesse princípio, concedeu em fevereiro de 2021 habeas corpus de ofício para absolver uma mulher condenada pelo furto de quatro camisetas, porque se tratava de ré primária, possuía bons antecedentes e devolveu os itens à loja.
