Um livro obrigatório para qualquer um que trabalhe com estatísticas em algum momento na vida – e aqui não estou falando de estatísticos e matemáticos, mas de gente que lida com dados e informações, como jornalistas, assessores ou políticos – oferece uma lição interessante sobre como lidar com números e compilações de informações no dia a dia.
Trata-se de um clássico com mais de 70 anos, Como Mentir com Estatística (How to Lie with Statistics, 1954), do jornalista americano Darrell Huff, com edição recente no Brasil pela Intrínseca. Em seu centro há uma crítica profunda ao uso utilitário da estatística, um campo destinado ao reconhecimento de padrões, como ferramenta para disseminação de mentiras e mal-entendidos convenientes. Huff reconhecia em seu livro que o público pode vir a se sentir intimidado ou a conferir uma posição privilegiada de verdade e respeito diante de gráficos e porcentagens aparentemente bem elaborados, e assim, seu livro era uma tentativa de oferecer ao leitor elementos para desenvolver um olhar crítico diante de pesquisas e dados selecionados ou interpretados para induzir a massa ao erro.
Huff tem uma tese simples, mas notável: estatísticas não mentem. Quem mente é quem as apresenta. Até mesmo pela época em que o livro foi escrito, muito do material coletado pelo autor como exemplo para seus argumentos é tirado não apenas da política e do jornalismo, mas da publicidade, que naquele período adorava dar uma pátina de cientificismo a seus anúncios usando estatísticas enviesadas para comprovar que um determinado produto era “líder de mercado” – o uso excessivo desse tipo de maracutaia se tornou tão flagrante com o tempo que essa vertente da publicidade “baseada em números” migrou apenas para as campanhas políticas e permaneceu por lá.
Amostragem
Huff se concentra muito nas pesquisas por amostragem, porque são elas as predominantes no universo da comunicação – incluindo as cada vez mais enviesadas pesquisas eleitorais. Na prática, o que Huff diz é que, quando negócios, jornalismo ou publicidade (comercial ou política) lançam mão de dados estatísticos, estão recobrindo a informação que desejam passar com uma pátina de objetividade científica, mas a verdadeira análise de dados semelhantes deveria se concentrar não apenas no que o número revela, mas como ele foi obtido.
Pesquisas quantitativas por amostragem precisam ser planejadas de modo a obter uma amostra, um retrato de um determinado universo durante um determinado momento. Por isso, pesquisas por amostragem podem sofrer variações drásticas de um ano para outro e em localidades distantes apenas 50 quilômetros uma da outra. O universo total pesquisado, ou seja, a população total em que a pesquisa foi feita, é uma coisa. A população de interesse da pesquisa, ou seja, aquela que se quer verificar dentro do quadro maior, é outra.
O que determina a relação entre o universo geral e o pesquisado é a amostra selecionada, mas mesmo os métodos de seleção são postos em questão por Huff. Amostras selecionadas para pesquisas quantitativas costumam ser obtidas aleatoriamente para aumentar a diversidade e a representatividade da amostra básica “selecionada por puro acaso em um universo ao qual uma amostra faz parte”, como Huff afirma no livro. Porém, mesmo a aleatoriedade pode ser enviesada se não forem considerados os padrões de onde ela foi selecionada. Há uma chance de que um em cada dez indivíduos selecionados aleatoriamente numa determinada amostra estejam repetindo com certeza o padrão geral do grupo maior universal no máximo de suas facetas possíveis, como raça, gênero, escolaridade, faixa etária, renda, ou essa amostra está sendo colhida em um grupo no qual a homogeneidade formativa faz com que um determinado resultado se repita mais frequentemente do que no quadro geral?
Contexto
De acordo com exemplos do próprio Huff, pesquisas realizadas apenas com leitores de determinada revista ou um grupo específico podem produzir conclusões que não valem para a população em geral. Uma pesquisa sobre hábitos de consumo realizada com clientes de luxo tenderá a superestimar renda e padrões de gastos e, portanto, não é aplicável.
Também não se deve aceitar, segundo Huff, o número sem o contexto: “Nenhuma conclusão de que ‘67% dos americanos são contra’ isso ou aquilo deve ser lida sem a pergunta persistente: 67% de quais americanos?”. Isso vale para a divulgação constante de pesquisas eleitorais, por exemplo, algo que estamos sendo bombardeados uma vez por semana e que vai piorar em ano de eleição. Se vivêssemos em um país mais ou menos sério, e o jornalismo fosse mais ou menos praticado com critérios sólidos, a divulgação de uma pesquisa não seria uma matéria de cinco minutos na TV ou uma página comprimida de jornal, porque você precisa explicar com detalhes como a pesquisa foi feita.
Não basta dizer “foram ouvidas cinco mil pessoas em todo o Brasil”; na prática, você teria que abrir a composição da amostra e o método detalhadamente. Essas pessoas foram ouvidas onde? Por que se escolheu a proporcionalidade apresentada ali? De que modo ela reflete o quadro geral? Quais foram as perguntas e por que foram formuladas assim? Que perguntas estão faltando? O gráfico está sendo representado visualmente de modo proporcional, ou os “achatamentos” gráficos usados para que caiba na página ou na tela dão uma ideia errada da diferença entre um dado e outro?
Médias
Outro problema em pesquisas apontado por Huff é que nem sempre elas são claras quando se referem à “média” como resultado, porque essa classificação, assim genérica, pode querer dizer a média aritmética simples, a mediana ou a moda, e cada uma delas terá um resultado diferente, demonstrando uma realidade diversa. Se eu me lembro bem das aulas de Estatística na faculdade, uma cadeira em que eu só passei por milagre, já vou avisando, Média é o valor médio simples da série de dados, Moda é o valor mais frequente na série e a Mediana é o valor que divide os dados quando ordenados do menor para o maior.
Dependendo de qual você seleciona, você altera o quadro. Um exemplo óbvio é a noção muito disseminada de que, em determinados pontos da antiguidade, a média de expectativa de vida de uma população é de 30 ou 40 anos. O que não significa imediatamente que todo mundo estivesse pronto para ir para o caixão chegando nessa idade, apenas que a média geral é puxada para baixo por uma assustadora mortalidade infantil. Passados os primeiros 10 anos, havia uma boa chance de muitos terem uma vida longa, ainda que difícil. Apenas a divulgação da média induz a uma incompreensão básica do resultado.
Outro exemplo usado por Huff é a descrição de média salarial de uma determinada população, dado muito repetido, em situações diferentes, por políticos, jornalistas e empresários. Usar a média aritmética de toda a amostra pode inflar a impressão de prosperidade se algumas poucas pessoas muito ricas ganharem o bastante para elevar o valor geral – o que ocorre em qualquer economia com desigualdades sociais rampantes, como a brasileira. O dado da mediana muitas vezes retrata melhor a condição do trabalhador típico, já que esse é o resultado que contempla o maior número de pessoas.
Tamanho
E um dos pontos que se mostrou um dos mais discutidos durante os anos recentes de pandemia se dá quando Huff aborda o tamanho das amostras pesquisadas – para ele, um dado tão ou mais importante do que o resultado obtido. Huff não menciona, obviamente, a recente crise da Covid-19, mas os argumentos que ele apresenta servem para a questão como uma luva. O autor enfatiza que conclusões baseadas em poucos casos podem parecer impressionantes, mas seus resultados podem ser obra do mero acaso quando se está trabalhando com uma amostra reduzida. Por isso, desde que o livro foi publicado, nos anos 1950, os protocolos científicos para adoção de tratamentos médicos vêm sendo continuamente refinados para que a metodologia seja confiável e tire do caminho os elementos que podem levar a uma falsa conclusão.,
No caso da pandemia, gastou-se muito tempo e energia para lidar com a falácia da hidroxicloroquina para tratamento da Covid-19. Governos de extrema-direita instalados no mundo (inclusive aqui) tinham interesse na cloroquina como um remédio efetivo porque isso invalidava a necessidade de adotar protocolos de saúde e segurança rígidos, como isolamento e distanciamento, o que afetava a produção. Não à toa Trump e o nosso oligofrênico-mor se referiram textualmente à cloroquina como “tratamento” – e levaram suas massas malucas a adotarem o chamado “coquetel preventivo” que, segundo eles, “evitaria o contágio”. Só que o estudo inicial do pesquisador Didier Raoult sobre o uso de hidroxicloroquina para o tratamento da Covid-19 utilizou uma amostra de inacreditáveis 36 pacientes, em uma pesquisa publicada em 2020 no International Journal of Antimicrobial Agents. A pesquisa acabou formalmente invalidada pela editora científica e pela Sociedade Internacional de Quimioterapia Antimicrobiana devido a graves falhas metodológicas e éticas, mas o estrago que ela provocou persistiu durante toda a crise.
Copa
A grande contribuição de Darrell Huff não é, portanto, ensinar estatística avançada, mas ensinar um certo ceticismo ao lidar com estatísticas, algo que é salutar para qualquer exercício de cidadania. Na prática, o que Huff recomenda vale também para o jornalismo e a política na era das fake news contemporâneas: sempre que encontrar uma estatística impressionante, pergunte de onde ela veio, como foi produzida e o que está sendo omitido.
É fascinante pensar que tudo isto já estava em um livro escrito em 1954 e que, mesmo assim, o técnico da Seleção Brasileira, Carlo Ancelotti, ainda assim decidiu que Bruno Guimarães bateria o pênalti marcado contra a Noruega pelas oitavas da Copa aos 13 minutos do primeiro tempo porque seu nome já estava definido como batedor antes do jogo, definição que teria sido baseada na melhor “média estatística”. Eu vi a imprensa nacional mencionar esse dado de passagem. Mas, como o jornalismo esportivo nesta Copa se mostrou particularmente medíocre, não vi ninguém se debruçar mais sobre esse ponto. Como Bruno Guimarães, meia de ofício, aparentemente só havia batido três pênaltis anteriormente na carreira, li textos que diziam que a tal “média” utilizada para a decisão incluía o aproveitamento nos treinos também.
O que é uma ótima forma de você perder uma Copa, já que a mudança de circunstâncias muda também o resultado – um pênalti em um treino, em condições controladas e contra um goleiro reserva que é da própria equipe, é muito diferente de um tiro disparado ao gol durante o calor de um jogo de competição, contra um arqueiro adversário e em um estádio lotado até as tampas. E qualquer amostra que Ancelotti tenha usado para definir era pequena demais para abolir, malarménianamente, o acaso.
Curioso como, em um esporte que a imprensa vem poluindo cada vez mais com estatísticas inúteis (“esse é o terceiro gol que ele faz com o pé esquerdo nos últimos 20 anos”), o mau uso da estatística tenha sido fundamental para nossa queda.
