Por redação AIoT Brasil

A fim de atender às crescentes demandas por infraestruturas de data center para a aplicação de IA generativa e a oferta de novos serviços, a Nvidia apresentou nesta semana a unidade de processamento gráfico (GPU) Blackwell, que, segundo a empresa, na fase de testes registrou um desempenho quatro vezes superior ao modelo Nvidia H100 Tensor Core. O resultado foi apontado na última rodada de benchmarks de inferência da MLPerf, desenvolvidos pela MLCommons, um consórcio de líderes em IA da academia, de laboratórios de pesquisa e do setor.

De acordo com a Nvidia, o primeiro envio da futura plataforma Blackwell conseguiu melhor desempenho na maior carga de trabalho no grande modelo de linguagem (LLM) Llama 2 70B da MLPerf, graças ao uso de um transformer engine de segunda geração e do FP4 Tensor Cores. “A GPU Nvidia H200 Tensor Core também apresentou excelentes resultados em todos os benchmarks da categoria de data centers, incluindo a mais recente adição ao benchmark, o LLM Mixtral 8x7B mix of experts (MoE), que apresenta um total de 46,7 bilhões de parâmetros, com 12,9 bilhões de parâmetros ativos por token”, afirmou a empresa.

A fabricante de chips e GPUs observou que os modelos MoE ganharam popularidade como uma forma de trazer mais versatilidade às implantações de LLM, pois são capazes de responder a uma ampla variedade de perguntas e executar tarefas mais diversas em uma única implantação: “Também são mais eficientes, pois ativam apenas alguns especialistas por inferência, o que significa que fornecem resultados muito mais rapidamente do que os modelos densos de tamanho semelhante. O crescimento contínuo dos LLMs está gerando a necessidade de mais computação para processar solicitações de inferência”, acrescentou a Nvidia.

Marcio Aguiar, diretor da divisão Enterprise da Nvidia para a América Latina, disse que o resultado dos testes foi notável: “Isso demonstra que nossas plataformas apresentam um desempenho líder em todos os setores de data center e contribui significativamente para fortalecer ainda mais nossa posição, além de tornar o trabalho mais eficiente para as empresas”.