Com acesso à IA, pessoas quase deixam de responder "não sei", mostra estudo
26 set, 13:56Nível de hype: PesquisaOrigem: Europa
Pesquisadores (Marcoccia, Quattrociocchi e Capraro, segundo o The Decoder) testaram perguntas sobre detalhes visuais de filmes em que o modelo usado, o Step 3.5 Flash, quase sempre erra. Sem IA, os participantes se abstinham em 36% a 44% das perguntas; com acesso à IA, em 3% a 6%. Num dos estudos, a confiança subiu de 29,6 para 75,9 pontos em 100, enquanto os acertos caíram de 27,6% para 10%.
Pagar 10 centavos por acerto e cobrar 10 por erro reduziu um pouco o uso da IA, mas não fechou a diferença. Mostrar a resposta da IA automaticamente, sem o participante pedir, deu resultado parecido: a abstenção caiu de 35% para 1%. Os autores dizem que não se sabe se o efeito é tão forte fora de perguntas sobre filmes, e a reportagem não informa se o trabalho passou por revisão por pares.
O que muda pra você
- Dev
- Mostre sinais de incerteza e permita que o sistema responda "não sei" em vez de sempre gerar uma resposta.
- PM
- Avalie se resumos automáticos de IA no produto levam usuários a aceitar respostas erradas; meça acerto, não só uso.
- Executivo
- Em decisões internas apoiadas por IA, exija checagem de fonte para evitar confiança alta em respostas erradas.
- Investidor
- Sem efeito direto para investidores.
- Educador
- Use o estudo para ensinar alunos a reconhecer quando a resposta da IA deve ser checada.