Skulle du kunne køre dine egne AI-modeller, har det altid krævet kolossalt med regnekræfter.
De nyeste, avancerede storskala sprogmodeller har været hinsides selv kraftige workstationers formåen og kræver en tur forbi dit lokale datacenter i stedet.
Nvidias nyeste supercomputer, døbt Project Digits, gør det tilsyneladende umulige og formår at klemme hardware, der kan køre selv de mægtigste AI-modeller ned i et hjemme- eller kontorvenligt format.
En bedrift som ikke bliver mindre af, at herligheden fylder det samme som en madkasse og prisen debuterer ved 3.000 amerikanske dollar, svarende til 21.500 kroner.
Superprocessor til skrivebordet
Hjernen i Project Digits er Nvidias nyeste Blackwell Superchip – den samme, som styrer mod klodens nyeste og kraftigste datacentre.
Her er dog kun en af slagsen, og der er tale om en neddroslet ’GB10’ variant. Den skulle dog være god for en hel petaflop udregninger per sekund – det dobbelte af Danmarks førende supercompter for ti år siden.
Det forsikrer Nvidias administrerende direktør Jensen Huang, der ved præsentationen af Digits forklarer hvad det vil give AI-udviklere, -forskere, studerende og -entusiaster af nye muligheder:
”AI bliver mainstream i enhver applikation i enhver industri. Med Project Digits, bringes Grace Blackwell superchip’en til millionvis af udviklere,” lød det under offentliggørrelsen hvor han fortsætter:
”Ved at placere en AI supercomputer på skrivebordet af enhver data scientist, AI-forsker eller studerende, gives de muligheden for at indgå i og præge AI æraen.”
Kraftkondensat
Særligt for enheden er, at den udstyret med kolossale mængder delt hukommelse, som gør at Blackwell kan disponere over op til 128 gigabyte hukommelse. Fire gange mere end selskabets netop lancerede RTX 5090 topgrafikkort.
Med disse mængder giver det råderum til at afvikle lokale sprogmodeller (LLM’s) med op til 200 milliarder parametre. Selv de største modeller såsom Metas Llama 3.1 405B og dennes heftige 405 milliarder parametre kan afvikles, da to Digit-systemer kan opsættes til at arbejde i tandem.
Chippens CUDA-kerner, tensor-kerner samt 20 ARM regnekerner er knyttet til hinanden og hukommelsen via Nvidias lynhurtige NVLink-G2C. Der kan tilkobles op til fire terabyte NVMe lager.
Systemet kører på det Linux-baserede Nvidia DGX operativsystem som understøtter populære platforme som PyTorch, Python og Jupyter.
Nvidia Project Digits er stadig under udvikling, men skulle være klar til en salgsdebut i maj i samspil med en række udvalgte partnere, oplyser Nvidia.
