Por redação AIoT Brasil

A Amazon, gigante do varejo online, adotou contêineres otimizados na Amazon Elastic Compute Cloud (Amazon EC2) com GPUs Nvidia Tensor Core para alimentar uma ferramenta de IA generativa que busca o equilíbrio na velocidade do varejo moderno. Segundo a empresa, as novas capacidades de IA generativa  ajudam os vendedores a criar de forma contínua títulos, descrições e atributos de produtos.

Para começar, a Amazon identifica listagens onde o conteúdo poderia ser melhorado e alavanca a IA generativa para gerar automaticamente conteúdo de alta qualidade. Os vendedores revisam o conteúdo gerado e podem fornecer feedback, se desejarem, ou aceitar as alterações de conteúdo para o catálogo da Amazon.

Anteriormente, criar listagens de produtos detalhadas exigia tempo e esforço significativos para os vendedores, mas esse processo simplificado dá mais tempo para se concentrarem em outras tarefas. O software Nvidia TensorRT-LLM está disponível hoje no GitHub e pode ser acessado por meio do Nvidia AI Enterprise.

Segundo a Nvidia, o software de código aberto TensorRT-LLM torna a inferência de IA mais rápida e inteligente. Ele funciona com grandes modelos de linguagem (LLMs), como os modelos da Amazon para as capacidades acima, que são treinados em grandes quantidades de texto. Nas GPUs Nvidia H100 Tensor Core, o TensorRT-LLM permite um aumento de até 8x na velocidade em LLMs fundamentais como Llama 1 e 2, Falcon, Mistral, MPT, ChatGLM, Starcoder e mais.

Ele também suporta inferência multi-GPU e multi-nó, , atenção paginada e Hopper Transformer Engine com precisão FP8; tudo isso melhora as latências e a eficiência para a experiência do vendedor.

De acordo com a empresa, ao utilizar o TensorRT-LLM e as GPUs Nvidia, a Amazon melhorou a eficiência da inferência de sua ferramenta de IA generativa em termos de custo ou GPUs necessários em 2x, e reduziu a latência de inferência em 3x, em comparação com uma implementação anterior sem o TensorRT-LLM.

“As capacidades de IA generativa podem economizar tempo para os vendedores e fornecer informações mais ricas com menos esforço. Por exemplo, pode enriquecer uma listagem de um mouse sem fio com um design ergonômico, longa vida útil da bateria, configurações ajustáveis de cursor e compatibilidade com vários dispositivos”, complementa Marcio Aguiar, diretor da divisão Enterprise da NVIDIA para América Latina.