Indkøbsliste: Det skal du bruge for at bygge Danmarks kraftigste supercomputer

Mere end 16.000 kerner og 92 terabyte hukommelse gør Computerome til kongerigets hurtigste supercomputer. Her kan du se hvad, der gemmer sig under motorhjelmen på DTU's fartmonster.

Computerome.

Sådan lyder det pudsige navn på den sammenbygning af hardware-komponenter, som teknikere har samlet til Danmarks kraftigste computer i et stille hjørne på den nordligste del af DTU Risø ved Roskilde.

Udefra ligner den faktisk mest af alt to mandskabscontainere ved en renoveringsopgave placeret på en parkeringsplads, men man skal som bekendt ikke skue bjørnen på hårene.

Én container er udstyret med computerens mere end 16.000 kerner og 92 terabyte hukommelse, mens den anden container er optaget af storage-systemets 7,5 petabyte lagerplads.

Regnemonster i verdenseliten
Når man er sluppet igennem indhegningen og træder ind i én af de to grå containere med et nydeligt DTU-logo på døren, dukker der et regnemonster i verdenseliten frem.

"Vi er i øjeblikket ved at køre en Linpack-test, der er en beregning af, hvor mange decimalberegninger en supercomputer kan udføre på ét sekund. Det går meget godt, og vi ligger på omkring 500 teraflops (0,5 petaflops) eller en 121. plads på top 500-listen," fortæller Peter Løngreen, chefkonsulent, DTU Systembiologi.

Til sammenligning har verdens hurtigste maskine 3.120.000 kerner og en tophastighed på 33,9 petaflops, så der er stadig et stykke vej op til de helt tunge drenge.

Det er den kinesiske Tianhe-2, der topper listen, og den er udviklet af Kinas nationale universitet med henblik på beregninger inden for teknologi-forsvar, som det hedder.

"Men den er bygget anderledes end de fleste andre supercomputere. Normalt anvendes supercomputere til meget begrænsede beregningsområder, men denne computer er en robust arbejdshest, der kan bruges langt mere alsidigt," siger Peter Løngreen.

Supercomputeren er bygget i et samarbejde mellem DTU, Københavns Universitet og Danish e-Infrastructure Cooperation (DeIC). En organisation, der har til formål at understøtter Danmark som e-Science-nation gennem levering af computerkraft, datalagring og netværk til forskning.

Formålet med at fylde containerne med isenkram fra blandt andet HP og EMC er at bringe Danmark helt i front, når det gælder forskning og bearbejdning af enorme mængder biologiske data inden for life science, pharma- og på sundhedsområdet.

Et helt konkret mål er, at den enkelte patient i langt højere grad bliver behandlet med udgangspunkt i patientens gener og arvemateriale.

Velkommen indenfor
Efter at adgangskortet er kørt igennem kortlæseren på containerporten, og en kode er tastet ind, åbnes dørene til maskinrummet.

Alt ser meget ordentligt og poleret ud. Der er ingen ledning-spaghetti og slet ikke antydningen af de pizza-bakker eller cola-dåser, der normalt klæber til nørdens image. Det eneste er en kraftige summen fra kølesystemet, der skal holde de 16.048 kerner nede på en acceptabel temperatur.

"CPU'erne bliver kølet med vand, der skylles direkte ind på dem og derefter via varmepumper sendes videre ind i fjernvarmesystemet, så varmen kan udnyttes. Allerede med disse første servermoduler vil Risø Campus være næsten 100 procent opvarmet med overskudsvarme fire måneder om året, og det bliver jo kun bedre i takt med, at maskinen udbygges."

Selv om kølesystemet genanvender varmen og systemet betegnes som grønt, så æder computeren en megawatt strøm. Strømmen er da også trukket direkte fra stærkstrømsnettet og til DTU.

Storage-systemet er på 7,5 petabytes, og der bliver foretaget back up i fire kopier - to på Risø og to på en anden lokation.

"Maskinen er optimeret til de hastigt voksende datamængder og til behandlingen af helt store data mængder," fortæller Ali Syed, Center for Biological Sequence Analysis på DTU, der har været en af arkitekterne bag maskinens design og konfiguration.

Anlægget er eksempelvis forsynet med tre forskellige typer netværk med hver sit speciale.

Det gode, gamle Ethernet, et netværk til administration og vedligeholdelse, der automatisk kan bestille en ny disk eller RAM-klods, hvis den gamle står af, og så et InfiniBand-netværk til dataoverførsel.

Den hurtige InfiniBand-teknologi er en netværkskommunikationsteknologi, som anvendes til High Performance Computere og giver enormt hurtige dataoverførselshastigheder.

"For os er det ikke nok med mange kerner. Det er også vigtigt med hurtigt I/O til håndtering af store mængder data eksempelvis beregninger på DNA. Maskinen har da også 92 terabyte DDR4 hukommelse," fortæller han.

Regnekraft deles via skyen
De enorme datamængder, som systemet skal regne på, betyder, at det er lettere at flytte regnekraften rundt end at flytte data.

Data er som udgangspunktet meget uensartede og i store mængder, når det drejer sig om mennesker eller kommercielle formål. Desuden er de meget sensitive, så computeren skal være optimeret netop til denne mangfoldighed, og man skal helst ikke flytte sine data for meget ud og ind af den.

Derfor bygger udviklingsholdet på DTU en cloud-løsning, hvor brugerne af computeren kan låne eller købe regnekraft til projekterne.

"Løsningen bliver en cloud-service, hvor både private virksomheder og forskere kan tilgå maskinen. Det giver god mening, at vi deler regnekraften med alle interesserede. Mange firmaer har ikke råd til at købe et kæmpe computer til nogle få opgaver, derfor er det offentligt-privat samarbejde også oplagt."

Ligeledes opbygger man i øjeblikket store såkaldte high-performance computing-centre og kobler dem sammen i netværk som det europæiske ELIXIR. På den måde kan mange forskere gøre brug af hinandens data samt analysere sig frem til nye og større sammenhænge indenfor sundhed.

"Vi regner med at komme op på omkring 500 brugere, når supercomputeren i løbet af efteråret bliver køreklar. I første omgang vil vi fokusere på alle områder inden for bioinformatikken. Det er et område med enorme potentialer, hvor high-performance computing spiller en helt essentiel rolle."

De mange brugere betyder også, at maskinen kommer til at køre rigtig tæt på maksimalt potentiale hele tiden.

"Vi forventer, at den ligger tæt på den maksimale regnekapacitet i 95 procent af oppetiden," fortæller Ali Syed.

Udregning af DNA
Hvert halve år fordobles mængden af elektroniske data om levende organismers biologi. Man beskriver organismernes mindste bestanddele som celler, gener og proteiner - i alt fra bakterier og gærsvampe til mennesker.

Man registrerer organismernes levevis i laboratorier og samler hospitalernes patientjournaler, der også inkluderer viden om livsstil.

"Med alle disse data om millioner af arter samlet i potente supercomputere kan man blive meget klogere, for eksempel på hvordan sygdomme hænger sammen og er koblet til bestemte gener, eller hvordan man skal ændre bakterier, så de bliver til den perfekte bioteknologiske cellefabrik."

Hvorfor er det lige jeres område, der har fået 40 millioner til denne computer?

"Vi har en stor farmaceutisk industri i Danmark, der udgør to procent af vores BNP. Det er noget vi er gode til, og der er mange arbejdsplader indenfor området," siger Peter Løngreen.

"Den enkelte patient vil i fremtiden i langt højere grad blive karakteriseret ved hjælp af DNA-data, der beskriver vores arveanlæg, og hvordan de ændrer sig gennem livet. Det kræver en kraftfuld computer at få noget ud af disse data og især at få dem integreret med de sundhedsdata, som Danmark har været enestående til at indsamle gennem mange år."

Computeren blev officielt individet den 28. november og sættes i fuld drift i løbet af januar.

Du kan se billeder fra maskinrummet her: Galleri: Her er Danmarks vildeste supercomputer

Der er også en supercomputer på vej på Fyn næste år: Her placeres Danmarks vildeste supercomputer Læs også:

Tag med i serverrummet, der gemmer Danmarks grønneste supercomputer

Vilde Vestas: Her er Vestas enorme supercomputer




Ytringer på debatten er afsenders eget ansvar - læs debatreglerne
Indlæser debat...

Premium
Kendt dansk trafik-app virker igen som før: Har lukket ned for Frank Rasmussens adgang til data
Interview: Saphe har stoppet for telerigmanden Frank Rasmussens adgang til trafik-appens data. Det er sket på utraditionel vis, men betyder, at Fartkontrol.nu-appen igen fungerer som før. "Beskyldningerne var rigtige nok, men vi har lukket ned, så vi kan se, at Hopper ikke tager vores data længere," lyder det fra Saphe.
Computerworld
Google indfører Android-gebyr efter kæmpe EU-bøde: Android-producenter skal nu betale for brug af Google-tjenester
Efter sommerens kæmpe EU-bøde indfører Google licensbetaling for Android-producenters brug af blandt andet Play Store. Men "Android vil forblive gratis og open source," lyder det fra selskabet.
CIO
Forleden reparerede en mekaniker min bil: Det kostede 4.200 kroner, som min hjerne snød mig til at betale med et smil
De rationelle it-beslutninger du træffer er måske en illusion. Det lærte jeg da min bil gik i stykker og min hjerne snød mig til at tro, at alt var fint. Til gengæld fandt jeg tre fælder dine it-beslutninger kan falde i.
Job & Karriere
Her er syv job-annoncer der overrasker med helt usædvanlige overskrifter
Der er mange ledige it-job i øjeblikket. It-jobbank har her fundet syv spændende stillinger, der har det til fælles, at annoncen har en utraditionel overskrift.
White paper
Millennials – Kommuniker med den nye generation
Mange virksomheder har en stor udfordring når det gælder Millennials. De er online hele tiden, har sociale medier som omdrejningspunktet i deres hverdag, og har meget høje forventninger til god service. De vægter værdier som tilgængelighed, hurtighed og kontinuitet meget højt, og det skal afspejle sig i den service I som virksomhed yder dem. Det er en del virksomheder slet ikke forberedte på. I dette whitepaper gennemgår vi, hvordan du skal gøre for at kommunikere med den nye generation.