OpenAI cria super-hacker de IA para aprimorar seus modelos de defesa

A OpenAI anunciou a criação do GPT-Red, um modelo de linguagem de grande escala (LLM) especializado em atacar outros sistemas de inteligência artificial. A ferramenta funciona como um "super-hacker" automatizado, projetado para testar as defesas dos modelos da empresa em cenários simulados do mundo real.

A empresa revelou na semana passada que o GPT-Red foi usado como parceiro de treino para o GPT-5.6, sua versão mais recente. Segundo a OpenAI, o treinamento adversarial contra o super-hacker tornou o GPT-5.6 o lançamento mais robusto já feito pela companhia, com menos de 23% dos ataques mais fortes do GPT-Red sendo bem-sucedidos contra o novo modelo.

O sistema automatiza o chamado "red-teaming", uma prática de segurança em que testadores humanos tentam quebrar ou sequestrar um sistema para identificar vulnerabilidades. À medida que os LLMs se tornam mais complexos e passam a interagir com arquivos, sites e outros agentes, a superfície de risco cresce significativamente.

“A superfície de risco cresce, e o raio da explosão também cresce”, afirmou Nikhil Kandpal, cientista de pesquisa da OpenAI e cocriador do GPT-Red, em entrevista ao MIT Technology Review. A empresa construiu o modelo para antecipar futuras ameaças , “conforme modelos mais capazes se tornarem disponíveis, já teremos projetado o sistema que pode descobrir novos modos de ataque”, explicou Dylan Hunn, também cocriador.

O treinamento do GPT-Red ocorreu em um "dojo" virtual que simulava cenários como navegação na web, leitura de e-mails, acesso a calendários e edição de código. O modelo foi colocado em um loop de autoaprendizagem com outros LLMs, onde atacava e defendia repetidamente, refinando suas táticas a cada rodada.

Durante o processo, o GPT-Red descobriu um tipo inédito de ataque, chamado pelos pesquisadores de "fake chain of thought" (cadeia de pensamento falsa). O método insere uma entrada falsa no diário interno de raciocínio de outro modelo, enganando-o para agir com base em informações adulteradas. "É como se eu dissesse que 1+1=3 e que você já verificou isso. O modelo reage: 'Ah, ok, claro', e simplesmente cuspiu 3", descreveu o cientista Chris Choquette-Choo.

Em testes comparativos, o GPT-Red superou equipes humanas de red-teaming em um experimento de 2025, encontrando ataques mais eficazes contra versões anteriores do GPT-5. Em outro teste contra o Vendy, um agente de máquina de vendas desenvolvido pela Andon Labs, o super-hacker conseguiu alterar preços e cancelar pedidos de clientes.

A OpenAI afirma que o GPT-Red complementa, e não substitui, os testadores humanos. “A expertise humana ainda será muito importante”, disse Jessica Ji, analista do Centro de Segurança e Tecnologias Emergentes da Universidade de Georgetown. A empresa não pretende liberar o código do GPT-Red publicamente, alegando que o modelo é mais potente que qualquer cópia que concorrentes possam tentar replicar.