Os economistas do MIT analisaram a “maldição do vencedor” nos programas de formação profissional e de vales de habitação, introduzindo ferramentas analíticas para melhorar a precisão da avaliação de políticas. O seu trabalho destaca as complexidades da replicação dos sucessos iniciais e sublinha a importância de evidências sólidas na tomada de decisões. Crédito: SciTechDaily.com
Quando as intervenções ou políticas têm um bom desempenho nos estudos, podem desiludir mais tarde. Um COM as ferramentas dos economistas podem ajudar os planeadores a reconhecer esta armadilha.
Na década de 1980, pesquisadores testaram um programa de formação profissional chamado JOBSTART em 13 cidades dos EUA. Em 12 localidades, o programa teve benefício mínimo. Mas em San Jose, Califórnia, os resultados foram bons: depois de alguns anos, os trabalhadores ganhavam cerca de 6.500 dólares a mais anualmente do que os seus pares que não participavam. Assim, na década de 1990, investigadores do Departamento do Trabalho dos EUA implementaram o programa em outras 12 cidades. Os resultados não foram replicados, no entanto. Os números iniciais de San Jose permaneceram atípicos.
Compreendendo a maldição do vencedor
Este cenário pode ser consequência de algo que os estudiosos chamam de “maldição do vencedor”. Quando programas, políticas ou ideias são testados, mesmo em experiências aleatórias rigorosas, as coisas que funcionam bem uma vez podem ter um desempenho pior na próxima vez. (O termo “maldição do vencedor” também se refere a lances vencedores em um leilão, um assunto diferente, mas relacionado.)
Esta maldição do vencedor apresenta um problema para os funcionários públicos, os líderes de empresas do sector privado e até mesmo para os cientistas: ao escolherem algo que tenha sido bem testado, podem estar a aceitar o declínio. O que sobe muitas vezes desce.
O economista do MIT, Isaiah Andrews, com colegas, desenvolveu ferramentas que podem ajudar os decisores políticos, empresários e até cientistas a evitar a “maldição do vencedor” no seu trabalho – o padrão em que as pessoas selecionam programas que apresentam bons resultados no início, mas que provavelmente terão um desempenho pior. mediante repetição. Crédito: Christine Daniloff, MIT; Obturador
“Nos casos em que as pessoas têm múltiplas opções, escolhem aquela que consideram melhor, muitas vezes com base nos resultados de um ensaio aleatório”, diz o economista do MIT, Isaiah Andrews. “O que você descobrirá é que, se tentar esse programa novamente, ele tenderá a ser decepcionante em relação à estimativa inicial que levou as pessoas a escolhê-lo.”
Andrews é coautor de um estudo recentemente publicado que examina esse fenômeno e fornece novas ferramentas para estudá-lo, o que também pode ajudar as pessoas a evitá-lo.
O artigo, “Inference on Winners”, aparece na edição de fevereiro da Revista Trimestral de Economia. Os autores são Andrews, professor do Departamento de Economia do MIT e especialista em econometria, os métodos estatísticos da área; Toru Kitagawa, professor de economia na Brown University; e Adam McCloskey, professor associado de economia da Universidade do Colorado.
Distinguindo diferenças
O tipo de maldição do vencedor abordado neste estudo remonta a algumas décadas como um conceito de ciências sociais, e também surge nas ciências naturais: como os estudiosos observam no artigo, a maldição do vencedor foi observada em estudos de associação genômica ampla, que tentam vincular genes a características.
Quando descobertas aparentemente notáveis não se sustentam, pode haver diversas razões para isso. Às vezes, os experimentos ou programas não são todos executados da mesma maneira quando as pessoas tentam replicá-los. Outras vezes, a variação aleatória por si só pode criar esse tipo de situação.
“Imagine um mundo onde todos esses programas sejam igualmente eficazes”, diz Andrews. “Bem, por acaso, um deles ficará melhor, e você tenderá a escolher esse. O que isso significa é que você superestimou o quão eficaz é, em relação às outras opções.” Uma boa análise dos dados pode ajudar a distinguir se o resultado atípico se deveu a diferenças verdadeiras na eficácia ou a flutuações aleatórias.
Para distinguir entre estas duas possibilidades, Andrews, Kitagawa e McCloskey desenvolveram novos métodos de análise de resultados. Em particular, propuseram novos estimadores — um meio de projetar resultados — que são “medianamente imparciais”. Ou seja, é igualmente provável que superestimem ou subestimem a eficácia, mesmo em contextos com a maldição do vencedor. Os métodos também produzem intervalos de confiança que ajudam a quantificar a incerteza destas estimativas. Além disso, os estudiosos propõem abordagens de inferência “híbridas”, que combinam múltiplos métodos de pesagem de dados de investigação e, como mostram, muitas vezes produzem resultados mais precisos do que métodos alternativos.
Com esses novos métodos, Andrews, Kitagawa e McCloskey estabelecem limites mais firmes sobre o uso de dados de experimentos – incluindo intervalos de confiança, estimativas medianas imparciais e muito mais. E para testar a viabilidade do seu método, os estudiosos aplicaram-no a múltiplas instâncias de investigação em ciências sociais, começando com a experiência JOBSTART.
Curiosamente, entre as diferentes maneiras pelas quais os resultados experimentais podem se tornar discrepantes, os estudiosos descobriram que o resultado do JOBSTART em San Jose provavelmente não foi apenas o resultado do acaso. Os resultados são suficientemente diferentes para que possam ter havido diferenças na forma como o programa foi administrado, ou no seu enquadramento, em comparação com outros programas.
O teste de Seattle
Para testar ainda mais o método de inferência híbrida, Andrews, Kitagawa e McCloskey aplicaram-no então a outra questão de investigação: programas que fornecem vales de habitação para ajudar as pessoas a mudarem-se para bairros onde os residentes têm maior mobilidade económica.
Estudos económicos a nível nacional demonstraram que algumas áreas geram maior mobilidade económica do que outras, sendo todas as coisas iguais. Estimulados por estas descobertas, outros investigadores colaboraram com funcionários do condado de King, Washington, para desenvolver um programa para ajudar os destinatários dos vouchers a mudarem-se para áreas de maiores oportunidades. Contudo, as previsões para o desempenho de tais programas podem ser susceptíveis à maldição do vencedor, uma vez que o nível de oportunidades em cada bairro é estimado de forma imperfeita.
Andrews, Kitagawa e McCloskey aplicaram assim o método de inferência híbrida a um teste destes dados a nível de bairro, em 50 “zonas de trânsito” (essencialmente, áreas metropolitanas) nos EUA. .
Estimativas simples neste cenário sugeriam que, para as crianças que crescem em agregados familiares no 25.º percentil do rendimento anual nos EUA, os programas de relocalização habitacional criariam um ganho de 12,25 pontos percentuais no rendimento dos adultos. O método de inferência híbrida sugere que, em vez disso, haveria um ganho de 10,27 pontos percentuais – um impacto inferior, mas ainda assim substancial.
Na verdade, como escrevem os autores no artigo, “mesmo esta estimativa mais pequena é economicamente grande”, e “concluímos que a segmentação de setores com base na oportunidade estimada consegue, em média, selecionar setores com maiores oportunidades”. Ao mesmo tempo, os estudiosos perceberam que o seu método faz a diferença.
No geral, diz Andrews, “as formas como medimos a incerteza podem, na verdade, tornar-se pouco confiáveis”. Esse problema é agravado, observa ele, “quando os dados nos dizem muito pouco, mas estamos erradamente confiantes demais e pensamos que os dados nos dizem muito. … Idealmente, você gostaria de algo que fosse confiável e que nos contasse o máximo possível.
Referência: “Inference on Winners” por Isaiah Andrews, Toru Kitagawa e Adam McCloskey, 18 de setembro de 2023, O Jornal Trimestral de Economia.
DOI: 10.1093/qje/qjad043
O apoio à investigação foi fornecido, em parte, pela Fundação Nacional de Ciência dos EUA, pelo Conselho de Investigação Económica e Social do Reino Unido e pelo Conselho Europeu de Investigação.
