Ai2 abre o Olmo-core 3, para treinar modelos MoE na casa do trilhão de parâmetros

O Allen Institute for AI (Ai2) lançou o Olmo-core 3, nova versão do seu framework aberto para desenvolver modelos de linguagem, segundo o blog do Hugging Face. A principal mudança é um sistema de treino de modelos de mistura de especialistas (MoE) pensado para chegar à casa do trilhão de parâmetros sem perder eficiência.

Em modelos MoE, cada entrada usa só parte dos parâmetros, mas o modelo inteiro precisa ficar na memória das GPUs, e distribuir as entradas entre os especialistas gera custo de comunicação. O Olmo-core 3 tenta reduzir esse custo. O código, um relatório técnico e uma demonstração foram publicados; o framework é usado na próxima geração do Olmo, ainda sem data.