Biblioteca Transformers passa a rodar modelos quantizados do llama.cpp

A biblioteca Transformers, da Hugging Face, passou a rodar com eficiência modelos no formato GGUF, criado pelo projeto llama.cpp. Com isso, dá para escolher um modelo quantizado no Hub, carregá-lo com o comando habitual e gerar texto no próprio computador, com tamanhos que cabem na memória de um notebook.

O llama.cpp é o motor de inferência por trás de ferramentas locais como Ollama, LM Studio e Jan, e ajudou a tornar prático rodar IA no próprio computador. A integração junta esse formato ao ecossistema do Transformers, amplamente usado por desenvolvedores.