Google testa avaliações de IA duplo-cegas

O Google DeepMind testou o que chama de primeiras avaliações de IA duplo-cegas do mundo, usando ambientes criptograficamente seguros para aumentar a confiança em benchmarks de modelos proprietários.

O objetivo é evitar a contaminação de benchmarks, quando o modelo já viu as questões do teste, o que torna o resultado sem sentido. No sistema, nem o modelo vê as questões antes, nem os avaliadores veem o modelo.