Patrick Moorhead monta cluster caseiro com 4 NVIDIA DGX Spark para inferência de IA
Patrick Moorhead divulgou um cluster doméstico de IA composto por quatro unidades NVIDIA DGX Spark conectadas em anel sem switch de rede. O sistema alcançou pico de inferência de 494 tokens por segundo executando o modelo DeepSeek V4.1-Flash de 552 bilhões de parâmetros. Combinando aproximadamente 512 GB de memória unificada, o conjunto completo foi estimado com custo entre US$ 25.000 e US$ 40.000.
O que se sabe
- Patrick Moorhead revelou um cluster caseiro de IA composto por 4 unidades NVIDIA DGX Spark empilhadas em um rack compacto 'tec MOJO' com refrigeração adicional.1
- O cluster atingiu um pico de inferência de 494 tokens por segundo em geração de código e 280 tokens por segundo em prosa, sob 32 requisições concorrentes.1
- O sistema hospedou o modelo de pesos abertos DeepSeek V4.1-Flash de 552 bilhões de parâmetros, que ocupou 476 GB de memória.1
- As quatro unidades somadas oferecem cerca de 512 GB de memória unificada compartilhada entre CPU e GPU.1
- Cada unidade NVIDIA DGX Spark inclui CPU Arm de 20 núcleos (10 Cortex-X925 e 10 Cortex-A725), 128 GB de memória LPDDR5X (largura de ~273 GB/s) e SmartNIC ConnectX-7 de 200 Gb/s.1
- A GPU integrada GB10 do DGX Spark traz Tensor Cores de quinta geração, DLSS 4, núcleos RTX Ray Tracing, 31 TFLOPs em FP32 e 1.000 TOPS em computação NVFP4.1
- As unidades foram conectadas diretamente em topologia de anel sem switch por meio de cabos QSFP, embora a recomendação oficial da NVIDIA para 4 unidades seja topologia estrela com switch 200 GbE.1
As fontes divergem: Consumo de energia do NVIDIA DGX Spark
Cronologia
- Divulgação do cluster doméstico com 4 nós NVIDIA DGX Spark por Patrick Moorhead
Quem está envolvido
DV
DeepSeek V4.1-Flashmodelo de IA executado no sistema
ND
NVIDIA DGX Sparkunidade de computação utilizada no cluster
N
Nvidiafabricante do hardware DGX Spark
PM
Patrick Moorheadespecialista em tecnologia e criador do setup