O modelo GPT-6 Astra Ultrafast foi disponibilizado na OpenAI API (interface de programacao de aplicacoes) e para usuarios elegiveis do ChatGPT Work e Codex. A novidade opera em unidades de processamento grafico (GPUs) NVIDIA Blackwell e alcanca uma velocidade de geracao de tokens ate oito vezes superior a do modo Astra Standard. O ganho de desempenho resulta de otimizacoes de inferencia desenvolvidas pela propria OpenAI para extrair o potencial da nova arquitetura de chips.
Para aperfeicoar o software de inferencia executado no hardware da fabricante, a OpenAI recorre a seus proprios modelos internos. De acordo com o diretor de tecnologia de computacao da organizacao, Uday Ruddarraju, a flexibilidade de programacao da plataforma da NVIDIA viabilizou essa aceleracao. O executivo tambem apontou que essa mesma estrutura programavel possibilita reaproveitar os recursos computacionais entre etapas de treinamento, inferencia e aprendizado por reforco.
“Nosso trabalho com a NVIDIA está nos ajudando a tornar a IA mais rápida e mais útil” No original, em inglês: “Our work with NVIDIA is helping us make AI faster and more useful” Uday Ruddarraju1
“O profundo investimento da NVIDIA em ferramentas e documentação nos permitiu tornar nossos modelos excepcionalmente bons em programar GPUs Blackwell e Rubin” No original, em inglês: “NVIDIA’s deep investment in tooling and documentation has enabled us to make our models exceptionally good at programming Blackwell and Rubin GPUs” Philippe Tillet1