Microsoft apresenta o ThinkingBox, que avalia agentes pelo estado final dos dados

Em post no blog da Hugging Face, a Microsoft descreve o ThinkingBox, benchmark que executa agentes em sessões isoladas de ferramentas MCP e verifica o estado final do banco de dados e os efeitos colaterais, em vez de julgar a conversa. O teste também mede se o agente repete o acerto vinte vezes seguidas.

O exemplo do post é um chamado de atraso de entrega em que o agente executa nove chamadas de ferramenta, lê a política corretamente, mas fecha o ticket como resolvido enquanto a exceção da transportadora continua aberta. O post indica que o ThinkingBox já está disponível pela Hugging Face; o texto lido não traz resultados comparativos de modelos.