Anthropic e OpenAI querem avaliadores de segurança dentro dos laboratórios

Num longo ensaio publicado no fim de semana, o CEO da Anthropic, Dario Amodei, propôs colocar avaliadores independentes dentro de todos os laboratórios de IA de ponta, com poder para relatar incidentes de segurança, avaliar se os modelos estão de fato alinhados e divulgar suas conclusões sem filtro. Segundo o TechCrunch, a indústria teria rejeitado a ideia de imediato há um ano.

Amodei disse que a Anthropic daria a avaliadores como METR e Redwood Research um acesso inédito aos seus sistemas, e o CEO da OpenAI, Sam Altman, disse que a empresa também aceitaria. Pesquisadores ouvidos pela reportagem consideram o acesso inédito, mas questionam se os avaliadores terão independência real, já que regras, financiamento e escopo ainda não estão definidos.