Indkøbsliste: Det skal du bruge for at bygge Danmarks kraftigste supercomputer

Mere end 16.000 kerner og 92 terabyte hukommelse gør Computerome til kongerigets hurtigste supercomputer. Her kan du se hvad, der gemmer sig under motorhjelmen på DTU's fartmonster.

Computerome.

Sådan lyder det pudsige navn på den sammenbygning af hardware-komponenter, som teknikere har samlet til Danmarks kraftigste computer i et stille hjørne på den nordligste del af DTU Risø ved Roskilde.

Udefra ligner den faktisk mest af alt to mandskabscontainere ved en renoveringsopgave placeret på en parkeringsplads, men man skal som bekendt ikke skue bjørnen på hårene.

Én container er udstyret med computerens mere end 16.000 kerner og 92 terabyte hukommelse, mens den anden container er optaget af storage-systemets 7,5 petabyte lagerplads.

Regnemonster i verdenseliten
Når man er sluppet igennem indhegningen og træder ind i én af de to grå containere med et nydeligt DTU-logo på døren, dukker der et regnemonster i verdenseliten frem.

"Vi er i øjeblikket ved at køre en Linpack-test, der er en beregning af, hvor mange decimalberegninger en supercomputer kan udføre på ét sekund. Det går meget godt, og vi ligger på omkring 500 teraflops (0,5 petaflops) eller en 121. plads på top 500-listen," fortæller Peter Løngreen, chefkonsulent, DTU Systembiologi.

Til sammenligning har verdens hurtigste maskine 3.120.000 kerner og en tophastighed på 33,9 petaflops, så der er stadig et stykke vej op til de helt tunge drenge.

Det er den kinesiske Tianhe-2, der topper listen, og den er udviklet af Kinas nationale universitet med henblik på beregninger inden for teknologi-forsvar, som det hedder.

"Men den er bygget anderledes end de fleste andre supercomputere. Normalt anvendes supercomputere til meget begrænsede beregningsområder, men denne computer er en robust arbejdshest, der kan bruges langt mere alsidigt," siger Peter Løngreen.

Supercomputeren er bygget i et samarbejde mellem DTU, Københavns Universitet og Danish e-Infrastructure Cooperation (DeIC). En organisation, der har til formål at understøtter Danmark som e-Science-nation gennem levering af computerkraft, datalagring og netværk til forskning.

Formålet med at fylde containerne med isenkram fra blandt andet HP og EMC er at bringe Danmark helt i front, når det gælder forskning og bearbejdning af enorme mængder biologiske data inden for life science, pharma- og på sundhedsområdet.

Et helt konkret mål er, at den enkelte patient i langt højere grad bliver behandlet med udgangspunkt i patientens gener og arvemateriale.

Velkommen indenfor
Efter at adgangskortet er kørt igennem kortlæseren på containerporten, og en kode er tastet ind, åbnes dørene til maskinrummet.

Alt ser meget ordentligt og poleret ud. Der er ingen ledning-spaghetti og slet ikke antydningen af de pizza-bakker eller cola-dåser, der normalt klæber til nørdens image. Det eneste er en kraftige summen fra kølesystemet, der skal holde de 16.048 kerner nede på en acceptabel temperatur.

"CPU'erne bliver kølet med vand, der skylles direkte ind på dem og derefter via varmepumper sendes videre ind i fjernvarmesystemet, så varmen kan udnyttes. Allerede med disse første servermoduler vil Risø Campus være næsten 100 procent opvarmet med overskudsvarme fire måneder om året, og det bliver jo kun bedre i takt med, at maskinen udbygges."

Selv om kølesystemet genanvender varmen og systemet betegnes som grønt, så æder computeren en megawatt strøm. Strømmen er da også trukket direkte fra stærkstrømsnettet og til DTU.

Storage-systemet er på 7,5 petabytes, og der bliver foretaget back up i fire kopier - to på Risø og to på en anden lokation.

"Maskinen er optimeret til de hastigt voksende datamængder og til behandlingen af helt store data mængder," fortæller Ali Syed, Center for Biological Sequence Analysis på DTU, der har været en af arkitekterne bag maskinens design og konfiguration.

Anlægget er eksempelvis forsynet med tre forskellige typer netværk med hver sit speciale.

Det gode, gamle Ethernet, et netværk til administration og vedligeholdelse, der automatisk kan bestille en ny disk eller RAM-klods, hvis den gamle står af, og så et InfiniBand-netværk til dataoverførsel.

Den hurtige InfiniBand-teknologi er en netværkskommunikationsteknologi, som anvendes til High Performance Computere og giver enormt hurtige dataoverførselshastigheder.

"For os er det ikke nok med mange kerner. Det er også vigtigt med hurtigt I/O til håndtering af store mængder data eksempelvis beregninger på DNA. Maskinen har da også 92 terabyte DDR4 hukommelse," fortæller han.

Regnekraft deles via skyen
De enorme datamængder, som systemet skal regne på, betyder, at det er lettere at flytte regnekraften rundt end at flytte data.

Data er som udgangspunktet meget uensartede og i store mængder, når det drejer sig om mennesker eller kommercielle formål. Desuden er de meget sensitive, så computeren skal være optimeret netop til denne mangfoldighed, og man skal helst ikke flytte sine data for meget ud og ind af den.

Derfor bygger udviklingsholdet på DTU en cloud-løsning, hvor brugerne af computeren kan låne eller købe regnekraft til projekterne.

"Løsningen bliver en cloud-service, hvor både private virksomheder og forskere kan tilgå maskinen. Det giver god mening, at vi deler regnekraften med alle interesserede. Mange firmaer har ikke råd til at købe et kæmpe computer til nogle få opgaver, derfor er det offentligt-privat samarbejde også oplagt."

Ligeledes opbygger man i øjeblikket store såkaldte high-performance computing-centre og kobler dem sammen i netværk som det europæiske ELIXIR. På den måde kan mange forskere gøre brug af hinandens data samt analysere sig frem til nye og større sammenhænge indenfor sundhed.

"Vi regner med at komme op på omkring 500 brugere, når supercomputeren i løbet af efteråret bliver køreklar. I første omgang vil vi fokusere på alle områder inden for bioinformatikken. Det er et område med enorme potentialer, hvor high-performance computing spiller en helt essentiel rolle."

De mange brugere betyder også, at maskinen kommer til at køre rigtig tæt på maksimalt potentiale hele tiden.

"Vi forventer, at den ligger tæt på den maksimale regnekapacitet i 95 procent af oppetiden," fortæller Ali Syed.

Udregning af DNA
Hvert halve år fordobles mængden af elektroniske data om levende organismers biologi. Man beskriver organismernes mindste bestanddele som celler, gener og proteiner - i alt fra bakterier og gærsvampe til mennesker.

Man registrerer organismernes levevis i laboratorier og samler hospitalernes patientjournaler, der også inkluderer viden om livsstil.

"Med alle disse data om millioner af arter samlet i potente supercomputere kan man blive meget klogere, for eksempel på hvordan sygdomme hænger sammen og er koblet til bestemte gener, eller hvordan man skal ændre bakterier, så de bliver til den perfekte bioteknologiske cellefabrik."

Hvorfor er det lige jeres område, der har fået 40 millioner til denne computer?

"Vi har en stor farmaceutisk industri i Danmark, der udgør to procent af vores BNP. Det er noget vi er gode til, og der er mange arbejdsplader indenfor området," siger Peter Løngreen.

"Den enkelte patient vil i fremtiden i langt højere grad blive karakteriseret ved hjælp af DNA-data, der beskriver vores arveanlæg, og hvordan de ændrer sig gennem livet. Det kræver en kraftfuld computer at få noget ud af disse data og især at få dem integreret med de sundhedsdata, som Danmark har været enestående til at indsamle gennem mange år."

Computeren blev officielt individet den 28. november og sættes i fuld drift i løbet af januar.

Du kan se billeder fra maskinrummet her: Galleri: Her er Danmarks vildeste supercomputer

Der er også en supercomputer på vej på Fyn næste år: Her placeres Danmarks vildeste supercomputer Læs også:

Tag med i serverrummet, der gemmer Danmarks grønneste supercomputer

Vilde Vestas: Her er Vestas enorme supercomputer




Premium
Skal du tage en Pro eller ej? Sådan vælger du imellem iPhone 12 og 12 Pro
Apples to iPhone-nyheder minder overraskende meget om hinanden. Der er dog væsentlige forskelle, som du skal være opmærksom på, når du vælger.
Computerworld
Det nye MitID er et tigerspring for bedre cybersikkerhed
Klumme: Det nye MitID er en enestående mulighed for et markant løft af it-sikkerheden i danske kommuner. Med baggrund i udfasningen af det nuværende NemID kan de samtidig forbedre og styrke deres it-systemers værn overfor cyberangreb.
CIO
Podcast: Hos Viking Life-Saving Equipment er it gået fra at være backend til at være noget, som kunderne spørger aktivt efter
Podcast, The Digital Edge: Viking leverer en stadig større del af deres produkt som en tjeneste. Som en del af tjenesten tager Viking ansvar for sikkerheden ved at levere, dokumentere og vedligeholde det nødvendige sikkerhedsudstyr. Hør hvordan Henrik Balslev senior digital director hos Viking har løftet den opgave.
Job & Karriere
Regner din ferie væk? Brug tiden på at søge en af disse otte stillinger, der er ledige netop nu
Det sjasker ned over hele Danmark. Du kan bruge de våde sommerdage på at søge et af disse otte job, der er ledige lige nu.
White paper
Optimér netværket til håndtering af hybrid- og multicloud infrastruktur
I januar 2020 konstaterede Gartner, at cloudcomputing var blevet ”The New Normal” – og op gennem året gjorde Covid-19 det endda helt essentielt at være i stand til at drifte infrastrukturen helt eller delvist fra skyen. Situationen har tvunget virksomheder til hastigt at omstille eller gentænke deres driftsstrategi, og hybride infrastrukturmodeller er nu mere udbredte end nogensinde før. Men mange har også været nødt til at erkende, at den stigende kompleksitet – i særdeleshed på det netværks- og sikkerhedsbaserede felt – stiller helt nye krav til de organisationer, der anvender dem. Denne hvidbog går i dybden med nogle af de mest udbredte udfordringer, som disse transformationsscenarier stiller din organisation overfor. Den giver et solidt bud på, hvordan en netværkshub baseret på Interxion-teknologi gør det muligt at gentænke og optimere netværksinfrastrukturen. Særligt med henblik på at optimere den til at kunne håndtere en hybrid- eller multicloudbaseret infrastruktur.