Træning af kunstig intelligens er en yderst regnekrævende disciplin, hvilket har udløst et våbenkapløb blandt tech-giganter for at sikre sig den fornødne hardware til at foretage de omfattende tensor-udregninger.
Det i særklasse allertungeste skyts bliver nu vist frem af chip-selskabet Cerebras, som lancerer det, der med flere banelængder er klodens allerstørste chip: ’CS-3’.
Klodens førende chips, såsom Nvidias H100 AI-processor, bliver stanset ud i dusinvis ud af en skive rendyrket silicium, en såkaldt ’wafer'.
Her udnytter Cerebras i stedet den fulde wafers areal til at fremstille bare en enkel af de kolossale chips.
Resultatet er en processor, som er størrelsesordner større end konkurrenterne, med et samlet areal på 46.225 kvadratmillimeter – 57 gange større end Nvidias i forvejen mægtige H100-chip.
Det gør det muligt for CS-3 processoren at huse intet mindre end 4.000 milliarder transistorer, mod H100’s 80 milliarder.
Tilsammen giver det den nye processor i alt 900.000 AI-optimerede kerner at rute med.
Kan klare enorme modeller på en gang
Fordelen ved den gigantiske størrelse er ifølge selskabet, at det kan træne AI-modeller med op til 24.000 milliarder parametre. Det er 13 gange flere end en førende model som OpenAI’s GPT 4.0 model håndterer.
Processoren gør det muligt at træne kommende generationer af storskala sprogmodeller uden at opdele træningsmodellerne.
Her er GPT 4.0 modellen ifølge netmediet The Decoder trænet ved at opdele arbejde i otte instanser af 220 milliarder parametre.
Arkitekturen gør det muligt for AI-udviklere at forenkle selve programmeringen af AI-modellerne.
Selskabet hævder, at der her vil være behov for 97 procent mindre kode sammenlignet med GPU-hardware, som den der ligger til grund for Nvidias H100-processor.
En model som GPT 3.0 kan ifølge selskabet klemmes ned til 565 linjers kode. En anden mindre model, såsom Metas Llama2-70B vil kunne trænes på en enkel dag, mod den måned der tager hos Metas egen supercomputer, forsikrer Cerebras.
Potentiel ny rekord
Selve processoren huser 44 gigabyte cache-hukommelse og kan adressere op til 1,2 petabytes ekstern arbejdshukommelse.
Den samlede ydelse når op til 125 petaflops af FP16-udregninger, mens strømeffektiviteten ifølge selskabet vil være sammenlignelige med Nvidias H100. CS-3 er printet med 5nm litografisk-teknik fra taiwanske TSMC.
Chippen kan indgå i selskabets ’Condor Galaxy 3’ supercomputere som i alt vil kunne levere op til 8,0 exaflops (en milliard milliard floating-point udregninger per sekund) ved at få 64 CS-3 chips i spil samtidigt.
Cerebras er gået i samarbejde med den teknologi-koncernen G42 fra emiraterne om at skabe den første CG-3 baseret supercomputer.
Denne forventes leveret i andet kvartal 2024, hvor et system vil levere op til fire exaflops ydelse. Op til ni systemer forventes at komme i drift i alt.
Klodens kraftigste supercomputer, HP-udviklede Frontier ved amerikanske Oak Ridge Leadership Computing Facility leverer i dag op til 1,1 exaflops ifølge seneste Top 500 opgørelse af supercomputere.