Muligheden for at få lokal, men kapabel kunstig intelligens i spil, har gjort Nvidia ’DGX Spark’ datacenter-madkasse til noget af en succes i sin niche.
Her kunne udviklere og AI-entusiaster nemlig få hukommelse og båndbredde nok til at køre solid AI.
DGX Spark enhederne er dog rene Linux-enheder og er dermed afgrænset til de muligheder og begrænsninger, som den platform giver.
Nvidia vil nu brede succesen ud ved at gøre den tilgængelig i Windows-land med en ny RTX Spark-serie, som her signeres af ASUS i form af ProArt GR1X.
Ved at forene Windows åbnes for det enorme app-økosystem, inklusive dets frodige udvalg af spil, mens man altså arver de workstation- og datacenterlignende egenskaber fra DGX Spark-enheden.
Man får altså hele tre enheder serveret i en madkasse-lignende størrelse.
Solid kasse
Der er ikke meget lir over ProArt-kassen. Den er skåret ud af aluminium og virker mere til at være bundsolid end designdrevet.
Den er derfor ikke noget skrivebordssmykke som en Mac mini eller Nvidias gyldne DGX Spark, men den er da noget pænere end den sorte plast, som man ellers render ind i med professionelle Windows-desktops.
Det hele fylder ikke mere end 15 gange 15 centimeter og fem centimeter i højden, hvorfor den bliver nem at gemme af vejen.
Dertil følger dog en stor 240 watts strømforsyning, som nærmest fylder lige så meget som computeren, hvis du propper begge dele i rygsækken.
Enheden virker egentlig også til at være skabt til at blive gemt af vejen, for det er ikke meget, der tilbydes portmæssigt. Selv Apples mikroskopiske Mac mini byder på flere porte her.
Du får kun det strengt nødvendige her med fire USB-C porte (heraf en enkel Thunderbolt 4), en HDMI-udgang og 10 GbE netværkstik.
Her tilbydes endda ikke nogen frontvendte porte, hvilket betyder, at man skal rode rundt bag maskinen, når der skal sluttes noget til maskinen. Enheden er altså en maskine, som man slutter noget til, og som man så lader stå.
Et mikro-datacenter
RTX Spark-enhederne - og altså også denne Asus GR1X - er bygget omkring en ny N1X-processor fra Nvidia, som grundlæggende er den samme chip, bare tilpasset henholdsvis Linux og Windows.
Chippen byder på 20 processorkerner af ARM-typen, som gør en glimrende figur, om end den ikke hæver sig over konkurrerende desktop-processorer.
Målt i klassiske benchmark-discipliner såsom Geekbench 7 eller Cinebench scores der højt, men ikke meget over det, som high-end desktop-processorer kan levere.
Det meste interessante ved processoren er dog det, som du finder i sidevognen, da der her findes en potent grafikenhed med 6144 CUDA-kerner – det samme, som du finder i et RTX 5070-grafikkort.
Mindst lige så interessant er det, at disse kerner kan dele hukommelse med processoren og dermed give adgang til langt mere hukommelse end dedikerede grafikkort typisk får.
Ydelsesmæssigt lander vi på et niveau omkring et Nvidia RTX 5060 i spil.
Det er et ganske hæderligt resultat givet, at hele chippen inklusive processor alene har et strømbudget og en båndbredde, som er en tredjedel lavere end 5060-kortet.
Desuden risikerer du ikke at løbe tør for VRAM her, hvis du vil slå hukommelseskrævende effekter og teksturer til.
Det beskedne strømforbrug har også en klar fordel. Maskinen larmer aldrig, men afgiver kun en hørbar susen, når den bliver presset.
En AI-arbejdsstation
En vigtig sidegevinst ved at have store mængder hurtig ram og en stærk CUDA-grafik i maven på maskinen er, at det sparker liv i det store mængder CUDA-optimerede applikationer og AI-workflows.
Det giver ekstra kræfter til alt fra GPU-effekter i Adobe Premiere Pro til 3D-rendering. I Premiere rækker det til at arbejde med 8K-video i realtid i det tunge HEVC-format (over 40 fps)
Maskinen kan også selv generere AI-video og -fotos på anvendelig tid. I ComfyUI spytter den et billede ud på 14 sekunder med FLUX.2 Klein, mens der kan genereres små fem sekunders HD-video per minut med LTX 2.5.
Her vil et sværvægter-grafikkort såsom RTX 5090 eller RTX PRO 4000/4500 være typisk to til tre gange hurtigere, men GR1X har til gengæld mere hukommelse at rutte med til større projekter og mere avancerede modeller.
Mere ram tak!
Windows kræver i sig selv en del ram i forhold til Linux, hvilket i vores 64 gigabyte-konfiguration ikke levner meget mere end 56 gigabyte til sprogmodeller.
Man kan dog afsætte op til 60 gigabyte til grafikken, hvilket dog sætter Windows 11 på sultekur. Allerede ved 58 gigabyte begyndte der at komme tydelige tegn på ram-mangel, hvor systemet begynder at hakke.
Det er dog lige akkurat nok hukommelse til, at jeg kan afprøve min favorit-sprogmodel, Alibabas Qwen 3.8 Flash Next, af og få ganske anvendelige resultater.
Den kan indlæse over to siders tekst per sekund (1100 tokens/s) og svare med omkring 30 ord per sekund. Til sammenligning leverer de store tjenester typisk 40 til 80 ord per sekund.
Her er dog tale om en ganske komprimeret variant (IQ3_XXS) hvilket vil gå lidt ud over svarkvaliteten, særligt ved længere samtaler.
Springet op til 128 gigabyte bliver afgørende, da det åbner op for det optimerede NVFP4-format som i søstermodellen viser sig at kunne køre op til dobbelt så hurtigt, mens der samtidig optræder færre fejl i svarene.
DGX-modellerne har dog en klar fordel i, at de er født med uhyre hurtig ConnectX 7 forbindelser samt RDMA-forbindelser, hvis du vil slutte to eller flere enheder sammen.
Vil du have flere enheder i spil, eksempelvis til at træne eller fintune dine egne modeller, er der ingen tvivl: Du skal droppe Windows og søge mod DGX Spark familien.
Med GR1X og de øvrige RTX Spark enheder, er udvidelsesmulighederne begrænsede til at udvide med en ekstra SSD.
Total token-økonomi
Ved at forene strømeffektiv, men kompetent hardware med masser af hukommelse, får du mulighed for at få ekstremt mange AI-tokens serveret til nærmest ingen penge.
I mit optimerede setup lykkedes det mig at få enheden til at levere enten 5,5 millioner output-tokens per døgn eller til at behandle omtrent 90 millioner input-tokens i døgnet.
I mellemtiden bruger maskinen strøm for under femmer i døgnet (ved 1,67 krone per kWh).
Skulle du købe de samme tokens hos Alibaba, ville det løbe op i henholdsvis 16 og 96 kroner per døgn.
Er du storforbruger af input-tokens ved ofte at kværne omfattende dataset, kodebaser eller research-opgaver, kan maskinen altså tjene sig selv hjem i sparede tokens på nogle år.
Hjemmets hjerne
Kombinationen af reel intelligens og lavt strømforbrug gør, at man uden den store tøven kan sætte maskinen til at være sluttet til døgnet rundt, hvor den kan fungere som hjemmets AI-hjerne.
Derfra er det din fantasi og opsætningslyst, der sætter begrænsningerne.
Den kan fungere som intelligent kontrolcentral til din smart-home enheder, som transskriberingsmaskine, som dit eget skræddersyede alternativ til ChatGPT, som en lille flåde af AI-agenter til monitering af nyheder, potentielle investeringer, flypriser eller meget, meget mere.
En af de helt store fordele er samtidig, at dine data aldrig forlader matriklen.
Du kan få den til at gemme og kategorisere dine kvitteringer, så du hurtig kan klare budgettet eller se om der stadig er reklamationsret på vaskemaskinen.
Spillefuglene kan også få en GeForce Now server ud af maskinen, så der kan games på enhver af hjemmets skærme. Det er også oplagt at have familiens fotoarkiv gemt her, så de kan lagres, tagges og eventuel udvælges uden at det skal deles med en cloud-tjeneste.
Usædvanlig anvendelig
Asus ProArt GR1X – og de øvrige RTX Spark enheder – er nogle små og ganske usædvanlige maskiner.
De er små til at forsvinde bag skærmen, stille og nøjsomme nok til at stå tændt døgnetrundt, men samtidig stærke nok til at der kan games, redigeres 8K-videoer og køre en kapabel sprogmodel lokalt.
Der findes utvivlsomt hurtigere og mere imponerende enheder til hver enkel af disse opgaver, men kun få, som kan gøre det godt i alle discipliner.
Alternativerne er reelt set kun AMD Strix Halo baserede enheder og Apples Mac Studio. Førstnævnte er billigere, men ikke nær så stærk og hurtig, mens en Mac Studio med M5 Max er mindst lige så kostbar.
At ProArt GR1X prismæssigt befinder sig i samme lag som Mac Studio med M5 Max processor, siger dog også en del om hvor pebret platformen er. Mac’en er endda en tand stærkere på rå regnekraft.
Min testenhed debuterer ved 4.699 euro, altså omkring 35.000 kroner, for en enhed med 64 gigabyte hukommelse og en terabyte lager. Det er det samme som en Mac Studio med tilsvarende lager og ram.
Den mest interessante version med 128 gigabyte ram og to terabyte lager skal der slippes 55.000 kroner for, kun 1000 kroner mindre end hvad Apple kræver.
Dermed står valget på, hvor tungt man vægter Windows og CUDA-understøttelsen.
Du betaler altså lidt mere for at få en lokal, kapabel og yderst fleksibel løsning, som kan det hele.