Google lança Android Bench 2.0, e melhor taxa de acerto cai de 91% para 28%

O Google publicou o Android Bench 2.0, benchmark que mede a capacidade de modelos e agentes de IA de desenvolver para Android. A versão anterior usava mudanças pequenas e correções de bugs; a nova usa tarefas longas, como atualizar dependências, adicionar funções, criar um aplicativo do zero e portar apps multiplataforma para Android nativo.

Com a mudança, a melhor taxa de aprovação caiu de cerca de 91% para cerca de 28%, segundo o ITmedia. O Google também passou a medir uma taxa de conclusão, que considera funcionalidade, fidelidade da interface e ausência de regressões, em vez de só aprovar ou reprovar. Segundo a reportagem, os modelos vão melhor ao criar código novo do que ao refatorar código existente.

Parte do texto da matéria não pôde ser lida por problema de codificação, e ela não lista nas partes legíveis quais modelos foram avaliados.