*Imagem: divugação Web Summit

Por Ricardo Marques da Silva, de Lisboa, Portugal

Os pequenos modelos de linguagem (SLMs) estão ganhando uma relevância cada vez maior e até mesmo provocando uma grande mudança de paradigma, pelas vantagens que proporcionam em relação aos LLMs, como mais velocidade e privacidade e custo menor. Quem afirmou isso foi Thomas Wolf, cofundador e diretor científico da Hugging Face, que desenvolve ferramentas para a construção de aplicativos, na palestra que abriu o segundo dia do Web Summit Lisboa, nesta terça-feira.

Em sua conversa com Zach Seward, diretor editorial de iniciativas de IA do jornal The New York Times, Wolf disse que o objetivo de sua empresa, agora, é criar famílias de SLMs cuidadosamente treinados, que enfatizem a qualidade dos dados em vez do tamanho. “Acho incrível que o Web Summit tenha escolhido começar o dia com um tópico tão nerd”, brincou Wolf. “Mas não vamos presumir que todos saibam do que estamos falando aqui quando falamos sobre pequenos modelos de linguagem. Acho que é uma tendência muito nova. Por muito tempo, tivemos essa discussão sobre modelos maiores, que seriam melhores para todos. Mas o que descobrimos é que modelos pequenos também podem funcionar muito bem”, acrescentou.

De acordo com Wolf, os SLMs podem responder por muitas das tarefas que, supostamente, apenas modelos grandes poderiam completar: “E há muitas vantagens em usá-los. Você poderá, por exemplo, tê-los rodando em seus laptops e até mesmo em seu smartphone. E no futuro eu os vejo rodando em quase todas as ferramentas que temos, certo? É possível que no futuro até nossa geladeira tenha um modelo de IA rodando, e será um modelo pequeno”.

Ele salientou que para muitas tarefas que precisariam ser automatizadas com IA não há necessidade de um grande modelo de linguagem “que possa resolver a teoria da relatividade geral”. Em sua visão, um SLM bastaria para lidar com tarefas como manipulação de dados, processamento simples e descrição de imagens: “O modelo que lançamos há algumas semanas segue esse princípio. O que descobrimos é que, por exemplo, o desempenho de um novo modelo com 1 bilhão de parâmetros é equivalente, se não melhor, do que o desempenho de um modelo de 10 bilhões de parâmetros do ano passado. Então você tem um modelo dez vezes menor que pode atingir desempenho similar”, explicou.

Isso significa, segundo Thomas Wolf, que o treinamento adotado atualmente na Hugging Face parte da ideia de que todo o conhecimento adquirido com os grandes modelos de linguagem pode realmente ser traduzido para modelos menores: “Nós os treinamos por muito mais tempo, com conjuntos de dados muito específicos que ainda são enormes, mas que se adaptam aos modelos menores e mais simples e que talvez possa rodar no seu laptop e ser executado diretamente no navegador”.