Efter at have hygget mig med at samle Frameworks mikroskopiske, men mægtige ’Desktop’, er det blevet til nogle ugers test af den klejne supercomputer.
Her tilbydes nemlig hardware, som er i liga med andre små, men mægtige enheder såsom HP’s Z2 G1a, Apples stærkeste Mac mini-enheder eller Nvidias særlige DGX AI mini-supercomputer.
Alle sammen maskiner, som er bygget omkring specialiserede chips med masser af rå regnekraft og en særlig opbygning, som tillader massive mængder hukommelse, som kan deles af både processor og indbygget grafikkort.
Det hele serveret i et kompakt kabinet til priser, der underbyder konkurrenterne. Framework Desktop fås til priser fra 9.899 kroner, mens topmodellen, som den, der testes i dag, starter ved 17.999 kroner.
Noget hjemmebryg
En stor del af oplevelsen ved at få sig en Framework-enhed, fås når enheden konfigureres og samles.
Er du, som jeg, en forhenværende Lego Technic-nørd, vil du synes om mulighederne for at konfigurere og samle enheden selv, som beskrevet herunder.
Man kan dog også skaffe sig enheden som færdigsamlet og ende med slutproduktet.
Som antydet i mit første møde med enheden er der et element af hjemmebryggeri over den.
Resultatet står derfor ikke helt så snorlige som i massefremstillede enheder. Man kan mærke, at der ikke opereres med helt de samme tolerancer her.
Sådan noget som power-knappen er eksempelvis lige lovlig lille og svær at ramme, mens pladsen omkring kabinettet ikke synes særlig vel udnyttet.
Her er eksempelvis ingen porte at få foran på enheden. Man kan dog tilkøbe nogle såsom den kortlæser, jeg har tilvalgt, den er bare pakket væk i bunden, hvor den ikke er specielt tilgængelig.
Selve portudvalget er altså primært begrænset til det, der findes bagpå. Her finder man det fornødne, om end jeg gerne havde byttet de to displayporte til to USB-C’er med Thunderbolt.
Kraftige komponenter
Det mest interessante ved Framework Desktop finder man dog inde i selve maskinen, hvor en af Windows-verdenens allermest interessante processorer gemmer sig.
Denne er signeret af AMD og hedder ’Ryzen AI Max 395’.
Det er en potent sag, der byder på hele 16 regnekerner, der kan arbejde med 32 regnetråde på en gang. Noget som hører til kraftige desktops eller deciderede workstations.
Denne er dog samtidig parret op med hele 128 gigabyte lynhurtig LPDDR5X hukommelse, som tilmed fødes igennem en 256-bit bus. Det betyder, at processor og den indbyggede grafik får omkring tre gange mere båndbredde end i almindelige desktop-maskiner med deres DDR5-hukommelse.
I praktiske termer betyder det, at du får en lynhurtig maskine, som kan pløje sig de tungeste regne-opgaver og mere til.
AMD-processoren, inklusive den indbyggede grafik, er dog tunet til alene at bruge op til 100 watt, hvorfor den ikke helt formår at matche 16-kernede workstations med nyeste AMD Ryzen 9 eller Intel Core 9 processorer ombord - disse vil typisk yde 25 procent højere.
Hyper-hukommelse
Her er altså masser af hukommelse, og den leveres med op til 260 GB/s – noget som ellers kun opnås i dedikerede grafikkort.
Det giver gevinst, når det parres op med det indbyggede Radeon RX 8060S grafikkort, som tilbyder 40 grafiske enheder bygget omkring AMD’s RDNA 3.5 arkitektur.
Hvor indbygget grafik oftest døjer med overhovedet at afvikle de nyeste spil, forholder det sig anderledes med dette kort, som niveaumæssigt befinder sit imellem dedikerede grafikkort såsom RTX 4060 og RTX 5050.
Maskinen er altså ikke nogen fuldblodsgamer, men går an til at køre alle nyere spil. Man skal dog regne med at skrue ned for effekter eller opløsning eller op for AI-kompensation såsom FSR-teknik i de mere krævende spil.
AI-arbejdsstation
Men hvor dedikerede grafikkort typisk kun leverer mellem otte og 16 gigabyte hukommelse, kan op til 96 gigabyte dedikeres til det indbyggede grafikkort.
I spil gør det ingen forskel, men er omvendt en kæmpemæssige fordel, når der skal arbejdes med AI-modeller.
Hvor de mest avancerede modeller typisk kræver flere hundrede gigabyte grafisk hukommelse og dermed kræver hardware i datacenter-klassen, er der i de seneste måneder dukket et interessant alternativ op i form af en mellemklassemodeller, der kan afvikles lokalt, når man har omkring 100 gigabyte til rådighed.
Her er modeller såsom OpenAI’s opensource ’OSS 120B’ model en meget anvendelig model, der i kvalitet og evner minder meget om ChatGPT-tjenesten. Fordelen er dog her, at resultaterne, dine data og dine oplysninger holder sig inde i maskinen og derfor giver en helt anden fortrolighed, end chat-tjenesterne kan tilbyde.
Dertil kan AI-assistenten fintunes i langt højere grad end hos online-pendanterne.
Her kan modellen levere svar med op til 50 tokens/sekund – svarende til 30-40 ord per sekund og ganske sammenligneligt med, hvad man får hos ChatGPT-tjenesten.
En anden sprogmodel, der gør en god figur er den kinesiske open-source model GLM 4.5 Air, som leverer anvendelige 20 token/sekund og også er i stand til at levere kompetente svar.
Det skal samtidig understreges, hvor hurtig udviklingen går blandt open-source modeller. Da jeg testede HP’s Z2 G1a for bare et halvt år siden, var udvalget af egnede modeller nærmest ikke eksisterende.
I dag er en lille håndfuld af ideelle modeller til enheden ude, mens flere er på vej.
Gemte udvidelsesmuligheder
Det særlige ved Frameworks enheder er, at de er tænkt, så brugeren selv får muligheden for at servicere, reparere eller endda opgradere sin enhed.
Her skyder Framework forbi med sin Desktop, som ganske vist kan opgradere, men kun i begrænset grad.
Man kan altså slutte en ekstra ssd-disk eller opgradere den eller tilføje et wifi-kort inde i selve maskinen. Men processor og ram er ikke til at opgradere, uden at hele motherboardet skiftes ud. Og så ryger en del af idéen.
Inde i maskinen gemmer sig dog en lidt overraskende opgraderingsmulighed i form af et x4 PCI-e 4.0 slot. Det kunne til nøds bruges til at opgradere maskinen med et dedikeret grafikkort, hvis man ellers er villig til at tage bundkortet ud, finde et egnet riser-kabel og til sidst at pakke det hele i et ITX-kabinet.
Man skal dog være opmærksom på, at PCI-e x4 forbindelse er en flaskehals i dette tilfælde.
En spændende niche
Mikroskopiske power-maskiner med en vis grad af bruger-tilpasning er noget af et niche-produkt.
Selve resultatet er dog ikke dumt, hvis man ellers har behov for at køre programmer, som kan udnytte så store mængder lynhurtig ram.
Sagen er den, at der reelt kun er få alternativer, og eftersom disse typisk er dyrere, står Framework ud som det mest interessante valg.
Når det er sagt, skinner Frameworks ellers meget sympatiske filosofi ikke tilstrækkelig igennem her, og jeg fristes til primært at skippe selve Frameworks konstruktion og alene at anskaffe selve bundkortet med indbygget processor og hukommelse. Så starter priserne ved 7169 kroner, mens topmodellen kan anskaffes til interessante 15.249 kroner.
