Nível de hype: AnúncioOrigem: EUA
Técnica de raciocínio do Astra preocupa especialistas em segurança
O novo modelo Astra, da OpenAI, usa uma técnica de raciocínio chamada "recorrência em profundidade", que permite ao modelo raciocinar fora da sequência de texto visível que caracteriza a maioria dos modelos de raciocínio, segundo o The Information, citado pelo TechCrunch.
A técnica, também chamada de "recorrência opaca", deve tornar a cadeia de raciocínio do modelo mais difícil de monitorar, e isso preocupa especialistas em segurança, que usam esse texto para detectar comportamento indesejado.
Anúncio
Relato da imprensa sobre técnica do modelo, com críticas de especialistas.
Critério: Promessa oficial com data ou escopo, sem acesso público.
Fontes originais
Resumo escrito com palavras próprias a partir destas fontes. Nenhum trecho é reproduzido.
O que muda pra você
- Dev
- Com raciocínio opaco, monitorar a cadeia de pensamento deixa de ser uma salvaguarda confiável.
- PM
- Sem efeito direto no produto.
- Executivo
- Menos visibilidade sobre o raciocínio dos modelos aumenta o risco de supervisão.
- Investidor
- A crítica pode pesar em regras futuras de transparência.
- Educador
- Explique o que é cadeia de raciocínio e por que monitorá-la importa.