Indkøbsliste: Det skal du bruge for at bygge Danmarks kraftigste supercomputer

Mere end 16.000 kerner og 92 terabyte hukommelse gør Computerome til kongerigets hurtigste supercomputer. Her kan du se hvad, der gemmer sig under motorhjelmen på DTU's fartmonster.

Computerome.

Sådan lyder det pudsige navn på den sammenbygning af hardware-komponenter, som teknikere har samlet til Danmarks kraftigste computer i et stille hjørne på den nordligste del af DTU Risø ved Roskilde.

Udefra ligner den faktisk mest af alt to mandskabscontainere ved en renoveringsopgave placeret på en parkeringsplads, men man skal som bekendt ikke skue bjørnen på hårene.

Én container er udstyret med computerens mere end 16.000 kerner og 92 terabyte hukommelse, mens den anden container er optaget af storage-systemets 7,5 petabyte lagerplads.

Regnemonster i verdenseliten
Når man er sluppet igennem indhegningen og træder ind i én af de to grå containere med et nydeligt DTU-logo på døren, dukker der et regnemonster i verdenseliten frem.

"Vi er i øjeblikket ved at køre en Linpack-test, der er en beregning af, hvor mange decimalberegninger en supercomputer kan udføre på ét sekund. Det går meget godt, og vi ligger på omkring 500 teraflops (0,5 petaflops) eller en 121. plads på top 500-listen," fortæller Peter Løngreen, chefkonsulent, DTU Systembiologi.

Til sammenligning har verdens hurtigste maskine 3.120.000 kerner og en tophastighed på 33,9 petaflops, så der er stadig et stykke vej op til de helt tunge drenge.

Det er den kinesiske Tianhe-2, der topper listen, og den er udviklet af Kinas nationale universitet med henblik på beregninger inden for teknologi-forsvar, som det hedder.

"Men den er bygget anderledes end de fleste andre supercomputere. Normalt anvendes supercomputere til meget begrænsede beregningsområder, men denne computer er en robust arbejdshest, der kan bruges langt mere alsidigt," siger Peter Løngreen.

Supercomputeren er bygget i et samarbejde mellem DTU, Københavns Universitet og Danish e-Infrastructure Cooperation (DeIC). En organisation, der har til formål at understøtter Danmark som e-Science-nation gennem levering af computerkraft, datalagring og netværk til forskning.

Formålet med at fylde containerne med isenkram fra blandt andet HP og EMC er at bringe Danmark helt i front, når det gælder forskning og bearbejdning af enorme mængder biologiske data inden for life science, pharma- og på sundhedsområdet.

Et helt konkret mål er, at den enkelte patient i langt højere grad bliver behandlet med udgangspunkt i patientens gener og arvemateriale.

Velkommen indenfor
Efter at adgangskortet er kørt igennem kortlæseren på containerporten, og en kode er tastet ind, åbnes dørene til maskinrummet.

Alt ser meget ordentligt og poleret ud. Der er ingen ledning-spaghetti og slet ikke antydningen af de pizza-bakker eller cola-dåser, der normalt klæber til nørdens image. Det eneste er en kraftige summen fra kølesystemet, der skal holde de 16.048 kerner nede på en acceptabel temperatur.

"CPU'erne bliver kølet med vand, der skylles direkte ind på dem og derefter via varmepumper sendes videre ind i fjernvarmesystemet, så varmen kan udnyttes. Allerede med disse første servermoduler vil Risø Campus være næsten 100 procent opvarmet med overskudsvarme fire måneder om året, og det bliver jo kun bedre i takt med, at maskinen udbygges."

Selv om kølesystemet genanvender varmen og systemet betegnes som grønt, så æder computeren en megawatt strøm. Strømmen er da også trukket direkte fra stærkstrømsnettet og til DTU.

Storage-systemet er på 7,5 petabytes, og der bliver foretaget back up i fire kopier - to på Risø og to på en anden lokation.

"Maskinen er optimeret til de hastigt voksende datamængder og til behandlingen af helt store data mængder," fortæller Ali Syed, Center for Biological Sequence Analysis på DTU, der har været en af arkitekterne bag maskinens design og konfiguration.

Anlægget er eksempelvis forsynet med tre forskellige typer netværk med hver sit speciale.

Det gode, gamle Ethernet, et netværk til administration og vedligeholdelse, der automatisk kan bestille en ny disk eller RAM-klods, hvis den gamle står af, og så et InfiniBand-netværk til dataoverførsel.

Den hurtige InfiniBand-teknologi er en netværkskommunikationsteknologi, som anvendes til High Performance Computere og giver enormt hurtige dataoverførselshastigheder.

"For os er det ikke nok med mange kerner. Det er også vigtigt med hurtigt I/O til håndtering af store mængder data eksempelvis beregninger på DNA. Maskinen har da også 92 terabyte DDR4 hukommelse," fortæller han.

Regnekraft deles via skyen
De enorme datamængder, som systemet skal regne på, betyder, at det er lettere at flytte regnekraften rundt end at flytte data.

Data er som udgangspunktet meget uensartede og i store mængder, når det drejer sig om mennesker eller kommercielle formål. Desuden er de meget sensitive, så computeren skal være optimeret netop til denne mangfoldighed, og man skal helst ikke flytte sine data for meget ud og ind af den.

Derfor bygger udviklingsholdet på DTU en cloud-løsning, hvor brugerne af computeren kan låne eller købe regnekraft til projekterne.

"Løsningen bliver en cloud-service, hvor både private virksomheder og forskere kan tilgå maskinen. Det giver god mening, at vi deler regnekraften med alle interesserede. Mange firmaer har ikke råd til at købe et kæmpe computer til nogle få opgaver, derfor er det offentligt-privat samarbejde også oplagt."

Ligeledes opbygger man i øjeblikket store såkaldte high-performance computing-centre og kobler dem sammen i netværk som det europæiske ELIXIR. På den måde kan mange forskere gøre brug af hinandens data samt analysere sig frem til nye og større sammenhænge indenfor sundhed.

"Vi regner med at komme op på omkring 500 brugere, når supercomputeren i løbet af efteråret bliver køreklar. I første omgang vil vi fokusere på alle områder inden for bioinformatikken. Det er et område med enorme potentialer, hvor high-performance computing spiller en helt essentiel rolle."

De mange brugere betyder også, at maskinen kommer til at køre rigtig tæt på maksimalt potentiale hele tiden.

"Vi forventer, at den ligger tæt på den maksimale regnekapacitet i 95 procent af oppetiden," fortæller Ali Syed.

Udregning af DNA
Hvert halve år fordobles mængden af elektroniske data om levende organismers biologi. Man beskriver organismernes mindste bestanddele som celler, gener og proteiner - i alt fra bakterier og gærsvampe til mennesker.

Man registrerer organismernes levevis i laboratorier og samler hospitalernes patientjournaler, der også inkluderer viden om livsstil.

"Med alle disse data om millioner af arter samlet i potente supercomputere kan man blive meget klogere, for eksempel på hvordan sygdomme hænger sammen og er koblet til bestemte gener, eller hvordan man skal ændre bakterier, så de bliver til den perfekte bioteknologiske cellefabrik."

Hvorfor er det lige jeres område, der har fået 40 millioner til denne computer?

"Vi har en stor farmaceutisk industri i Danmark, der udgør to procent af vores BNP. Det er noget vi er gode til, og der er mange arbejdsplader indenfor området," siger Peter Løngreen.

"Den enkelte patient vil i fremtiden i langt højere grad blive karakteriseret ved hjælp af DNA-data, der beskriver vores arveanlæg, og hvordan de ændrer sig gennem livet. Det kræver en kraftfuld computer at få noget ud af disse data og især at få dem integreret med de sundhedsdata, som Danmark har været enestående til at indsamle gennem mange år."

Computeren blev officielt individet den 28. november og sættes i fuld drift i løbet af januar.

Du kan se billeder fra maskinrummet her: Galleri: Her er Danmarks vildeste supercomputer

Der er også en supercomputer på vej på Fyn næste år: Her placeres Danmarks vildeste supercomputer Læs også:

Tag med i serverrummet, der gemmer Danmarks grønneste supercomputer

Vilde Vestas: Her er Vestas enorme supercomputer




Ytringer på debatten er afsenders eget ansvar - læs debatreglerne
Indlæser debat...
mest debaterede artikler

Premium
Fire gange større end næststørste leverandør: Offentlige indkøbere bør følge Ateas dominerende markedsposition tæt
Atea er fire gange større end den næststørste hardware-leverandør til det offentlige. Situationen skal følges skarpt af offentlige indkøbsorganisationer, så det ikke ender med dårlig konkurrence, lyder opråbet.
Computerworld
Få mere fra hånden med det nye Gmail: Her er de første billeder af Googles nye mail-satsning
Google vil gøre Gmail enklere og mere produktiv i de kommende uger. Se hvordan det nye Gmail tager sig ud her.
CIO
Allersidste opdatering på vej: Om en uge er det slut med stor-version af Windows 10 - skynd dig at opdatere
Om en uge er det slut for altid med den første store udgave af Windows 10, som Microsoft efter 29 måneder ikke længere vil supportere.
Job & Karriere
Klassiske brokere af it-konsulenter står over for kæmpe udfordring - forretningsmodellen er under pres
Klumme: Eksterne konsulenter er populære og en god løsning i en branche i vækst. Men selve forretningsmodellen bag it-konsulenterne er under alvorligt pres.
White paper
11 skridt, der sikrer dig det bedste udbytte af dit CRM-projekt
Dette whitepaper identificerer 11 skridt, som enhver organisation bør gennemgå i forbindelse med CRM-implementering.