Pesquisadores criaram um agente de inteligência artificial chamado ScientistOne que resolve um dos problemas mais críticos da automação científica: a geração de citações inventadas e descrições de método que não correspondem ao código utilizado. O sistema alcança zero citações alucinadas e verificação de pontuação perfeita, igualando ou superando o desempenho de especialistas humanos em tarefas de pesquisa de fronteira.
A arquitetura do ScientistOne baseia-se no Chain-of-Evidence (CoE), um arcabouço de verificabilidade que exige que cada afirmação seja rastreável até sua fonte de evidência. Diferentemente de agentes convencionais, ele mantém essas correntes de evidência por construção durante todas as etapas do processo, da revisão de literatura à redação do artigo científico.
O pacote inclui ainda o CoE Audit, uma auditoria post-hoc com quatro verificações de integridade: validação de pontuação, violação de especificação, verificação de referências e alinhamento método-código. Segundo o artigo submetido ao repositório científico aberto arXiv, essa abordagem se aplica uniformemente a qualquer sistema de pesquisa autônomo.
Os testes foram realizados sobre 75 artigos gerados por cinco sistemas diferentes em cinco tarefas científicas de ponta. Todos os concorrentes exibiram ao menos um modo de falha sistemático, com a taxa de referências alucinadas chegando a 21% e a verificação de pontuação sendo aprovada em apenas 42% dos artigos.
O ScientistOne, por sua vez, registrou zero citações inventadas em um total de 337 referências e acertou todas as 12 verificações de pontuação. Adicionalmente, o sistema obteve o mais alto alinhamento método-código, com 14 de 15 casos aprovados.
Esses números colocam o agente de IA à frente ou no mesmo nível dos melhores especialistas humanos nas cinco tarefas testadas. Além do desempenho nos testes de fronteira, o sistema generalizou para seis tarefas adicionais, incluindo imagens médicas, percepção tridimensional e modelagem de linguagem.
O agente alcançou o estado da arte no desafio Parameter Golf e conquistou medalhas de ouro em tarefas do benchmark MLE-Bench. Nesses mesmos desafios, todos os sistemas de IA anteriores haviam fracassado completamente.
A eliminação das alucinações de referência e da divergência entre método descrito e código executado representa um salto de confiabilidade para a pesquisa autônoma. O ScientistOne materializa um passo concreto rumo a sistemas de pesquisa com nível humano que não apenas produzem resultados competitivos, mas o fazem de forma verificável e rastreável.
📨 Inscreva-se na Newsletter de O Cafezinho
Receba nossas análises e as principais notícias diárias do Brasil e do Sul Global.