Modelos de inteligência artificial podem desenvolver vieses próprios contra candidatos a empregos, sem que esses preconceitos estejam presentes nos dados de treinamento, revela um estudo apresentado em julho na Conferência Internacional sobre Aprendizado de Máquina (ICML), em Vancouver, por pesquisadores da Universidade de Princeton e da Universidade de Chicago. Segundo o portal MIT Technology Review, os sistemas não apenas replicam estereótipos humanos, mas criam novas formas de discriminação a partir da própria experiência, em ritmo mais acelerado que pessoas reais.
No experimento, os cientistas submeteram modelos como ChatGPT, Claude e Gemini a um jogo simulado de contratação, adaptado de um teste psicológico sobre formação de estereótipos em humanos. Cada sistema deveria atuar como consultor do prefeito de uma cidade fictícia, escolhendo candidatos para 20 vagas , de médicos a zeladores , entre quatro grupos étnicos inventados: Tufa, Aima, Reku e Weki. Os modelos recebiam feedback imediato sobre o desempenho de cada contratado, sem saber que todos os grupos tinham a mesma probabilidade de sucesso.
Os resultados mostraram que as máquinas rapidamente passaram a segregar candidatos por origem em funções distintas. Quando um modelo descobria que um Aima havia falhado como médico, por exemplo, passava a evitar todos os Aimas para aquela profissão e os direcionava para vagas de zelador, classificadas como de menor exigência. Na escala de segregação do estudo, onde 2 representa segregação total, participantes humanos marcaram 0,84 , enquanto os modelos pontuaram, em média, 65% mais. O modelo o3, da OpenAI, chegou a 1,83, próximo do máximo.
“Os grandes modelos de linguagem realmente são ávidos por criar generalizações a partir de dados limitados. É para isso que eles são otimizados”, explicou Ryan Liu, doutorando em Princeton e coautor do artigo. O treinamento desses sistemas em problemas de matemática e ciências, que recompensam a rápida generalização, os leva a estereotipar com base em pouquíssimos exemplos.
Modelos mais recentes e com maior capacidade de raciocínio, como o o3 da OpenAI e o R1 da DeepSeek, apresentaram vieses ainda mais fortes. Instruir os sistemas a serem justos não alterou o comportamento, mas prometer um bônus por contratações diversas reduziu drasticamente a tendenciosidade. “O truque é projetar metas que incorporem valores sociais desejáveis para que o modelo aja de forma socialmente aceitável”, disse Liu.
Em um segundo experimento, os pesquisadores pediram que os modelos realocassem membros de diferentes grupos étnicos em cidades canadenses. Quando recebiam informações pessoais relevantes, como idade e nível educacional, a segregação étnica caía. Quando os dados eram irrelevantes , cor do cabelo ou formato de tatuagem , , os modelos voltavam a separar as pessoas por etnia. Para Angelina Wang, cientista da computação da Universidade Cornell, que não participou do estudo, o avanço da memória e personalização dos chatbots agrava o risco: eles podem “superindexar” comportamentos passados e formar vieses.
No mundo real, porém, a extensão desse fenômeno ainda é incerta. Diferentemente do laboratório, as empresas não recebem um boletim imediato sobre o desempenho de cada contratado, o que pode atenuar ou retardar o surgimento de preconceitos. Liu adverte, contudo, que os vieses gerados pela própria máquina , e não herdados de humanos , são uma ameaça permanente: “Esses novos vieses estão sempre presentes.”