Forestil dig at sidde med en AI-model. Den fylder 50 gigabyte og er stoppet med fortrolige data, der ikke må forlade bygningen. Så cloud er ikke en mulighed. I stedet skal det køres lokalt.
En desktop-workstation med to Nvidia RTX 6000 'Ada' grafikkort koster hurtigt 360.000 kroner og er nok svær at sælge til økonomiafdelingen. Og så suger den i øvrigt vildt meget strøm. Jeg ved det, for jeg har prøvet.
De vilde priser er bagsiden af de seneste års AI-eksplosion, hvor softwarens muligheder er kommet langt foran den lokale hardwares evner.
For enhver der har prøvet at køre en lokal AI-model på en almindelig pc, ved, at hvis ikke modellen kan presses ned i grafikkortets begrænsede hukommelse, så er resultatet enten ekstremt langsomt eller resulterer i en blå fejlskærm.
Det ved producenterne også godt. Derfor står vi pt. over for en stor omvæltning.
Nvidia, ARM, Intel og AMD kæmper alle om fremtidens AI-marked, men i en tid hvor mange kigger mod ARM og specialdesignede AI-chips, har HP valgt en anden vej.
Selskabets nyeste arbejdsstation bygger stadig på x86-arkitekturen - og det er ikke en tilfældighed.
Et nyt take på workstation-markedet
Det fortæller Brian Walker fra HP, som har været en af hovedkræfterne bag projektet, og som for nyligt besøgte Danmark i et par dage.
Med sig under armen havde han HP's nyeste Z-workstation, en lille desktop baseret på AMDs Ryzen AI Max-arkitektur. Tidligere kendt under kodenavnet "Strix Halo" men nu med det mundrette navn "HP Z2 Mini G1a".
”Det særlige ved arkitekturen er, at der ikke er nogen flaskehals mellem grafikkort og processor, som der er i en normal maskine med PCI-slots,” forklarer Brian Walker fra HP, der har været involveret i projektet siden begyndelsen for cirka tre år siden. Det seneste år fra sin base i Asien.
Med udgangspunkt i HP's kunder forventninger og AMDs mobil-arkitektur, kan maskinen derfor udstyres med op til 128 gigabyte LPDDR5X-hukommelse, hvoraf 96 gigabyte kan allokeres til "grafikkortet".
Det betyder, at den kan håndtere store AI-modeller, AutoCAD-arbejde, avanceret billed- og videoredigering og rendering – uden at skulle skubbe data frem og tilbage mellem GPU’en og system-RAM’en via en langsom PCI-bus.
”Softwarekravene er vokset eksponentielt, mens hardware-udviklingen har været lineær. Den normale tilgang fungerer ikke længere. Vi måtte tage et kvantespring for at imødekomme behovene," fortæller Brian Walker om de forventninger, som han tog med hjem, da han besøgte HP's kunder for tre år siden for at tale om deres syn på fremtiden.
AI-modeller kræver mere, end der kan leveres
”Vi havde kunder, der bogstaveligt talt sagde til os: ‘I kan ikke bygge en computer hurtig nok til os.’ Det er den virkelighed, vi arbejder i," uddyber han.
Tidligere har løsningen været at proppe flere og flere GPU’er ind i en workstation, men det har sine begrænsninger – især når det gælder varme og strømforbrug.
”Vi havde længe arbejdet for at skubbe mere GPU-ydelse ind i stadigt mindre maskiner. Men vi ramte en grænse, hvor GPU'en blev for begrænset af varme og strømforbrug. Derfor måtte vi tænke helt anderledes,” siger Brian Walker.
AI er for dyrt med traditionelle maskiner
For mange virksomheder er AI-drevet computing blevet en nødvendighed, men samtidig en udfordring.
"Kunderne fortalte os: 'Vi har brug for AI-arbejdsstationer, for vi har ikke råd til at prøve at levere den datakraft med traditionelle maskiner’. For kunderne er det accelererende strømforbrug i traditionelle maskiner og behovet for køling blevet store problemer."
Løsningen? En maskine, der kan håndtere AI-modeller på skrivebordet – uden behov for en datacenterløsning.
Samtidig har HP tænkt i mobilitet – noget som tidligere har krævet en stærk ryg hvis der har skulle slæbes rundt på workstation-segmentet.
"Normalt kræver det en massiv workstation med to high-end GPU’er at køre komplekse AI-modeller. Nu kan du få den samme ydeevne i en enhed, der passer i din rygsæk. Den er ikke helt let, men du kan tage den med," fortæller han om den lille maskine, som også kommer i en bærbar version der hedder HP ZBook Ultra 14 G1a.
HP's nye bærbare vidunder er kun få dage fra at lande på markedet til priser lige under 35.000 kroner for topmodellen med 128 gigabyte ram.
Det er dermed kun lidt over det halve af det, som et Nvidia RTX 6000 Ada-kort med 48 gigabyte hukommelse koster.
ARM eller x86?
Mange har spekuleret i, om fremtidens arbejdsstationer ville skifte til ARM-arkitekturen, men for professionelle brugere er det ifølge Brian Walker ikke nogen mulighed.
"Der var mange diskussioner om, hvorvidt ARM kunne være en løsning, og det fungerer rigtigt godt for almindelige brugere. Men vi vidste fra begyndelsen, at professionelle brugere ikke kan eller vil skifte software-infrastruktur ud. Det var afgørende at holde os til x86-arkitekturen, nedbringe strømforbruget og samtidig levere en ydelse der overgår, hvad ARM kan."
For øge ydelsen på en mere effektiv måde end de kæmpe desktop-maskiner med store grafikkort, men samtidig komme omkring ARMs begrænsninger, måtte HP og AMD ifølge Brian Walker tænke nyt:
"Vi kiggede på mobil-CPU'er og fandt AMD's Strix Halo-arkitektur. Vi indså, at vi kunne få noget revolutionerende, hvis vi tog en mobil SoC, gav den 120-150 watt strøm og byggede den ind i en kompakt arbejdsstation."
AMD var ikke umiddelbart inde i dette marked, men HP fik dem med på idéen.
"Da vi gik til AMD med denne idé, overvejede de ikke engang denne brugssituation. Men de var utroligt samarbejdsvillige og vidste, at vi stod ved et teknologisk vendepunkt. Det her var en mulighed for at skabe noget helt nyt."
Resultatet blev en arbejdsstation, hvor meget af den traditionelle kompleksitet er fjernet for at maksimere ydelsen.
”Fordi vi fjerner mange drivere, mange PCI-busser, mange spændingsregulatorer og mange små forbindelser, der alle sammen skaber flaskehalse, forsinkelser og varme. Man kan sige, at vi reducerer kompleksiteten for at øge ydeevnen.”
Den store konklusion fra HP’s udvikling er, at fremtidens professionelle maskiner bliver mere integrerede.
”Det, vi ser, er, at mulighederne for SoC'er er nærmest uendelige, når CPU, GPU og NPU bliver integreret.”, slutter Brian Walker om de fremtidige muligheder.
HP-maskinerne burde være tilgængelige midt i april. Computerworld regner med at have en maskine til test inden længe.
