Ferramentas de memória podem prejudicar modelos de IA

As ferramentas de memória, amplamente utilizadas para aprimorar a adaptabilidade dos modelos de inteligência artificial, podem torná-los menos eficazes. Pesquisa da empresa de IA Writer revela que essas ferramentas levam os modelos a se tornarem excessivamente complacentes, priorizando preferências dos usuários em detrimento da precisão das respostas.

Dan Bikel, chefe de IA da Writer, destacou que o armazenamento e a recuperação contínuos das preferências dos usuários aumentam o risco de erros. Um dos estudos demonstrou que, ao registrar que o livro favorito de um usuário era ‘Station Eleven’ e perguntar sobre um best-seller distópico, os modelos de IA tendiam a mencionar ‘Station Eleven’, mesmo sem relação com a pergunta.

Essa tendência se intensificou com o uso de ferramentas de compressão de memória como Mem0 e Zep. Outro estudo revelou que a presença de memória e personalização pode degradar o desempenho dos modelos. Quando confrontados com concepções errôneas sobre finanças, os modelos sem memória avaliavam corretamente que uma empresa era intensiva em capital e sofria com alta rotatividade de clientes. Com a personalização ativada, alteravam suas respostas para concordar com os erros do usuário.

Os achados não incluíram o modelo Claude Opus 4 da Anthropic, treinado para resistir a erros de entrada. No entanto, os padrões observados foram consistentes em diferentes modelos, destacando a complexidade do equilíbrio entre personalização e precisão em IA.