A Nvidia colocou o rack Groq 3 LPX em produção e pretende deixá-lo operacional ainda este ano na neocloud Nebius. A tecnologia chegou à empresa após a compra de ativos da Groq por US$ 20 bilhões (cerca de R$ 103 bilhões), a maior aquisição já realizada pela Nvidia.O foco está na inferência de baixa latência, capaz de reduzir o intervalo entre o pedido do usuário e a resposta de um sistema de IA. A característica é especialmente relevante em aplicações de programação, nas quais atrasos podem ser percebidos rapidamente.A estratégia da Nvidia é combinar tecnologias, não escolher uma só: Groq para baixa latência e GPUs para cargas mais amplas. – Imagem: Samuel Boivin/ShutterstockGroq ganha espaço nos data centersNa Nebius, os racks Groq 3 LPX serão instalados junto dos processadores Vera e das GPUs Rubin. Dion Harris, diretor sênior da Nvidia, afirmou que os equipamentos estarão disponíveis ainda este ano.A arquitetura da Groq coloca 500 MB de memória SRAM de alta velocidade diretamente no chip. Com isso, a tecnologia busca diminuir gargalos provocados pelo acesso à memória durante a execução dos modelos.Cada rack reúne 256 chips Groq 3. De acordo com a Nvidia, o sistema chega a 3.400 tokens por segundo, resultado baseado em um benchmark da Artificial Analysis.Os principais números do Groq 3 LPX:Cada rack Groq 3 LPX reúne 256 chips Groq 3;O sistema chega a 3.400 tokens por segundo;A arquitetura conta com 500 MB de SRAM integrada ao chip;A tecnologia prioriza a inferência de baixa latência;A Nvidia pagou US$ 20 bilhões pelos ativos da Groq.Não é uma substituição das GPUsA tecnologia da Groq cumpre uma função mais específica. Os chips se concentram principalmente na etapa de “decode” da inferência, responsável pela geração dos tokens que compõem a resposta de um modelo.As GPUs continuam sendo usadas em treinamento e inferência e têm maior flexibilidade para acompanhar diferentes modelos e tecnologias. Para Harris, uma tecnologia não precisa eliminar a outra:Isso não significa substituir as GPUs. Trata-se de usar o preço certo e o processador certo para a parte certa da carga de trabalho.Dion Harris, diretor sênior da Nvidia, à CNBC.A proposta, portanto, é dividir as tarefas conforme as características de cada processador.A Nvidia reservou um quarto do espaço de data centers voltado à programação para chips Groq. O restante será ocupado pelo Vera Rubin. – Imagem: Divulgação/NvidiaCorrida pela menor latênciaA Nvidia disputa esse mercado com empresas que também procuram acelerar a geração de respostas por IA. A AMD anunciou que vai integrar seus sistemas em escala de rack a chips da Cerebras, que recentemente abriu capital.A OpenAI também entrou nessa corrida. Seu modo Ultrafast promete 750 tokens por segundo e é “alimentado pela Cerebras”.Leia mais:Servidores de IA com chips Nvidia chegam à China por rota indiretaNvidia aposta US$ 6 bilhões em IA aberta contra rivais chinesesNvidia sobe preços de servidores de IA por alta da memóriaA Nvidia, enquanto isso, amplia os envios dos sistemas Vera Rubin, cuja produção começou anteriormente. Em março, durante a apresentação dos sistemas Vera Rubin e Groq 3 LPX, Jensen Huang disse que reservaria um quarto do espaço de data centers destinado a aplicações de programação para os chips da Groq.“O restante do meu data center é 100% Vera Rubin”, afirmou Huang na ocasião.Com a Groq, a Nvidia passa a ter uma alternativa específica para acelerar uma etapa da inferência. As GPUs seguem como a base de seus sistemas, enquanto os novos racks assumem tarefas em que o tempo de resposta é um fator decisivo.O post Nvidia mira respostas mais rápidas com chips da Groq 3 LPX apareceu primeiro em Olhar Digital.