Det er halvandet år siden, at vi som Windows-brugere skulle stifte bekendtskab med en helt ny klasse af pc’er – den såkaldte Copilot-pc.
Den kunne kendes på en ny ’Copilot’ knap på tastaturet, som skulle give kvikadgang til Microsofts AI-tjeneste – men det vigtigste ved de nye klasser af maskiner lå i hardware.
Inde i selve chip’en skulle være et særligt neuralt netværk, NPU’en, som vil åbne op for banebrydende egenskaber.
Ud til kanten
Denne digitale hjerne skulle levere hele 40 TOPS – altså 40 millioner milliarder neurale udregninger hvert sekund.
Det er en tilsyneladende enorm mængde regnekraft, der skulle gøre det muligt at få kunstig intelligens ud til ’edgen’ – altså at få den kunstige intelligens til at køre lokalt fremfor at AI’en skulle tage den lange tur til det nærmeste datacenter, før den kunne løse lokale problemer, såsom at oversætte tekst, foretage korrektur eller generere et foto.
Alle chip-producenterne, Intel, Qualcomm og AMD har investeret en væsentlig portion af det fine silicium, som processorer fremstilles af, til at kunne levere på løfterne – og som altid i chip-design, på bekostning af andre egenskaber
Men diden debuten af de første Copilot+ maskiner i foråret 2024 er det dog til at overse, hvad den særlige hardware egentlig har været god for.
Lokale (u)muligheder
Det der kan udrettes på Copilot+ enhederne er nemlig langt fra banebrydende.
Billedgenerering med Billed-appen er noget nær ubrugelig mens tjenester såsom Recall, eller semantisk søgning er anvendelige, men ikke ligefrem revolutionerer, hvordan man bruger pc’en.
Du kan jo spørge dig selv, hvorvidt du sidst har benyttet dig af ChatGPT eller nogle af Copilots lokale funktioner.
Hvad der er værre er, at der nærmeste ikke er nogen tredjeparter, der har skabt noget interessant, som kan udnytte NPU’en.
Det ironiske er samtidigt, at det faktisk er blevet muligt at få overbevisende AI til at køre lokalt – det forudsætter bare at man går uden om NPU’en.
For selvom NPU’en på papiret byder på masser af regnekræfter, er virkeligheden dog den, at AI kræver endnu flere af slagsen før det bliver rigtig anvendeligt.
Brute force
Tidligere krævede det et større server-rack at køre en model såsom ChatGPT 4 – hvorfor den slags blev henvist til skyen.
Men open-source sprogmodeller har udviklet sig så hastigt, at man nu kan få tilsvarende intelligente svar som sidste års kunstig intelligens fra mindre modeller - som faktisk kan afvikles lokalt.
Det kræver dog bare godt med regnekraft og rigelige mængder lynhurtigt ram. En maskine som HP’s lette Zbook Ultra G1a kan faktisk køre OpenAI’s OSS 120B model ganske tilfredsstillende – en kunstig intelligens som OpenAI selv siger er sammenlignelig med GPT-4o mini.
Det særlige er dog at HP’s lille kraftværk er født med 128 gigabyte lynende hurtig hukommelse og som udnytter grafikchippen til at klare AI-ærterne. Copilot+ får kun 16 gigabyte at rute med, som den i øvrigt skal dele med resten af systemet.
Microsoft synes selv at styre mod de brutale regnekræfter som et grafikkort kan levere i lanceringen af sit ’Windows ML’ værktøj til afvikling af lokale AI-modeller.
En anden fællesnævner
Microsofts krav til NPU ligner en fiasko. Kravene har været for lave til, at de særlige NPU’er kunne udrette noget fornuftigt, hvilket får tredjeparter til at styre udenom.
Muligheden for at få kompetent AI til at spille lokalt ligger dog snublende nær – og den kan komme med reelle sidegevinster.
At udstyre en maskine med et kraftigere indbygget grafik sammen med store mængder lynhurtig hukommelse giver nemlig også markante performance-fordele i blandt andet spil samt videoredigerings- eller renderingsopgaver.
Denne tilgang ses også hos Apple, hvis seneste kuld af M-processorer viser sig at være kapable AI-platforme.
Ved at styrke udviklingen af grafikkortet som ombordværende Copilot-platform, kan Microsoft også imødekomme det pudsige forhold, at selv bomstærke workstations- eller gamermaskiner ikke kan køre Copilot+ funktionerne af mangel på NPU.
I stedet for at satse på NPU’en som fællesnævner, har Microsoft altså et langt mere spændende spor at følge i at få grafikkortet, både det diskrete eller indbyggede, mere i spil.
