DTU Risøs computer har et teoretisk maksimum på 143 teraflop. I denne regnetest blev resultatet på 88,9 procent af topydelsen eller 127 teraflop. Foto: Nicolai Devantier.

Tag med i serverrummet, der gemmer Danmarks grønneste supercomputer

I bygning 109 på DTU Risø gemmer der sig et veritabelt regnemonster. En supercomputer, der ligger i verdenseliten, når det handler om antallet af beregninger i forhold til energiforbruget.

"Jeg har lige opdateret min browser, så jeg er på Herrens mark," siger Anne Margrethe Hvidtfeldt Larsen, da hun skal demonstrere, hvordan en bruger kobler sig på login-serveren til en af Danmarks kraftigste computere.

Jeg har naturligvis lidt svært ved ikke at trække på smilebåndet af dette udsagn fra én af de to administratorer af et Linux-regnemonster med 6.400 cpu core processorer, der har et teoretisk regnemaksimum på 143 teraflops.

Computeren står på DTU Risø, der ligger syv kilometer nord for domkirkebyen Roskilde. En forskerstation, der ligger smukt placeret ud til fjorden.

Bygning 109 ligner til forveksling mange af de øvrige bygninger, men bag facaden og en stribe adgangskontroller har DTU Risø bygget en af Danmarks kraftigste supercomputere.

"Vi nåede desværre ikke med på den top 500-liste, der beskriver verdens hurtigste supercomputere. I testberegningen landede vi på 127 teraflop, hvilket desværre ikke er nok."

Det var ellers lige før, DTU-maskinen var røget med på listen. Men udviklingen overhalede forskermaskinen.

"Jeg har testberegninger her," siger hun og hiver et papir frem.

Med håndskrevne noter kan jeg ved selvsyn konstatere, at resultatet var 127 teraflop per sekund.

"Et halvt år tidligere, og vi var kommet med på top 500. Det var ærgerligt."

"Til gengæld ligger vi nummer 80 i verden, når det handler om regnekraft i forhold til den energi, der tilføres systemet," fortæller Anne Margrethe Hvidtfeldt Larsen.

"Det er vi meget stolte af," fortsætter hun. 640 processorer med ti kerner
Den røde snor i forbindelse med indvielsen af maskinen blev klippet over i foråret, men bag kulisserne har arbejdet stået på i flere måneder.

Det forudgående arbejde har bestået i at samle de 320 noder, der sidder to og to i rack-skabene.

De er hver især forsynet med to Intel Xeon 10-core cpu'er på 2,8 GHz eller 640 processorer med hver 10 kerner, der kan bruges som regnetråd.

Hukommelsen hedder enten 64 eller 128 gigabyte per node, og de enkelte regnemaskiner er bundet sammen i et meget hurtigt netværk, der primært bruges til beregninger indenfor vindteknologi.

Der anvendes almindelige Ethernet-kabler til de administrative funktioner i netværket, men dataoverførsler sker via den hurtige InfiniBand-teknologi, der er en netværkskommunikationsteknologi, som anvendes til High Performance Computere (HPC) også kendt som supercomputere.

Denne konfiguration gør DTU Risøs HPC-system til et af landets mest potente.

Ifølge top 500-listen står det hurtigste danske system hos vindmøllefirmet Vestas. Sammenlignet med det største danske system opnår DTU's HPC-installation cirka 25 procent mindre kapacitet, men til gengæld bruger den to tredjedele mindre elektrisk energi.

"Det var også energiforbruget og muligheden for køling, der satte grænsen for, hvilken maskine vi kunne bygge. Vi har formet den, så den passer til den strømmængde, som kunne leveres," siger Anne Margrethe Hvidtfeldt Larsen, mens vi sidder ved mødebordet i hende lille kontor og drikker en kop programmørkaffe. Supercomputere er (næsten) lig med Linux
De 320 enheder samles under en Linux-paraply med styresystemet CentOS, der er en Red Hat-variant.

"Vi laver i princippet ét image af én node, som vi så fordeler ud på de 320 enheder, så de bliver ens."

"Vi er meget glade for open source. Både fordi det er godt, men også fordi det er gratis," fortæller Anne Margrethe Hvidtfeldt Larsen.

Men Linux er også en af de administrative udfordringer i den daglige brugerkontakt.

"Supercomputerverdenen er langt hen ad vejen baseret på Linux, men mange af brugerne er vokset op med Windows, og derfor kan det kræve noget brugerinstruktion, før forskerne kan komme i gang med beregningerne."

"Vores administrationssoftware i øvrigt er også open source-baseret. Der er rigtig meget software til forskerverdenen, der frit kan benyttes, og det gør vi i stor stil. Vi er ikke meget for at bruge penge på licenser," griner hun.

Adgangen til regnemonstret gives gennem en login-server og et script, der sætter de 320 noder i gang med at beregne.

"Her kan brugeren bestemme, om vedkommende skal bruge en, tre eller 320 enheder. Beregningerne sættes så i kø, lidt som man kender det fra en printer," fortælle hun, mens hun viser login-modulet på sin skærm.

En udfordringerne for at udnytte supercomputeren er de programmer, der anvendes på systemet.

"Det er langt fra alle, der udvikler software, som kan udnytte de mange tråde, der kan beregnes på i vores system. Nogle programmer kan faktisk kun benytte én tråd, hvilket ikke udnytter kapaciteten optimalt," fortæller hun.

En anden af de store hurdler i systemet er fil-administrationssystemet eller med andre ord: Lagerplads.

"I øjeblikket har vi 600 terabyte lagerplads til forskerne, men det er lige i underkanten til de enorme filer, der beregnes på. Det kæmper vi lidt med lige nu."

Tæt på dyret
Vi rejser os fra mødebordet, og vi bevæger os længere ind i bygning 109 gennem to sikkerhedspunkter, hvor der skal bruges adgangskort og personlige koder.

Efter indtastningen åbner Anne Margrethe Hvidtfeldt Larsen døren til serverrummet, hvor vi mødes af larmen fra systemet, der dannes i de store sorte rack-skabe, der pryder bagvæggen i lokalet.

Hun åbner et skab, og en stribe af de 320 noder kommer til syne bag den sorte og perforerede metaldør.

"De sorte kabler er Ethernet, mens de gule bruges til dataoverførsler via InfiniBand-teknologi," fortæller hun.

Til venstre for selve computeren står en kæmpe UPS, der skal holde systemet forsynet med strøm, hvis der er nedbrud på strømnettet.

Et blik på den lille skærm viser, at der er kapacitet til 53 minutter og 45 sekunder uden ekstern el.

"Hvis uheldet er ude, så lukker vi systemet ned i prioriteret rækkefølge efter fire minutter."

"Vil du også se bagsiden," spørger hun.

Det vil jeg naturligvis gerne, og den beslutning kræver, at jeg forsynes med et sæt ørepropper.

Larmen vælter ud af den åbne dør til den ellers lukkede verden bag rack-skabene, hvor supercomputeren løser flere hundrede millioner ligninger med et tilsvarende antal ubekendte. Det resulterer i detaljerede oplysninger om hastighed, tryk og turbulens omkring en vindmøllevinge i alle tre dimensioner.

Bortset fra larmen hersker der fuldstændig harmoni. Netkablerne føres via store, brede kabelskuffer og strømkablerne er snoet sammen i sirlige guirlander, der hænger ned fra loftet.

På vej ud af bygningen peger hun på et diplom, der hænger i en skifteramme på væggen.

Datoen er juni 2014, og papiret er prydet med informationer om, at DTU Risøs computer er nummer 80 i verden, når det handler om at bruge strømmen mest effektivt til beregninger.

"Det er vi ret stolte af," siger hun igen og smiler.

Se billederne fra DTU's serverrum her.

Læs også:

Sådan regner DMI vejrudsigten ud med smart it

Ny algoritme kan lure hvad du foretager dig: Sådan fungerer den




Ytringer på debatten er afsenders eget ansvar - læs debatreglerne
Indlæser debat...

Computerworld
Atea-dom bliver flere måneder forsinket efter kæmpefund af materiale: "Jeg er rystet over, hvad der foregår"
Dommen i Atea-sagen er flere måneder væk. Retten i Glostrup skulle have taget stilling til skyldsspørgsmålet i begyndelsen af februar, men enorme mængder nyt sagsmateriale får sagen til at trække ud. Nu er flere weekender inddraget til retsmøder de kommende måneder.
CIO
Opråb til ERP-leverandørerne: Stram op - I opfører jer uanstændigt
Klumme: Hvorfor kan ERP-projekter ikke leveres til fastpris ligesom andre systemer? Hvordan kan ERP-leverandørerne slippe afsted med at opføre sig uanstændigt? ERP-leverandørerne har et alvorligt problem og er nødt til at gøre det bedre. Se nogle af mine vilde eksempler fra den danske it-branche her.
Job & Karriere
Dansk it-virksomhed indførte fire-dages arbejdsuge: I dag er sygefraværet rekord-lavt og direktøren har tabt sig 13 kilo
Interview: Great Place To Work kategori-vinderen IIH Nordic har indført en fire-dages arbejdsuge og taget et opgør med forstyrrende storrums-kontorer og en frustrerende mailkultur. I dag er medarbejderne gladere end nogensinde før.
White paper
Mobility - her er de aktuelle udfordringer
Hvad med sikkerheden? Mobility-bølgen fejer igennem danske virksomheder, og der er masser af muligheder og faldgruber. Sikkerheden halter, men det kan der gøres noget ved. Produceret af Computerworld.dk i oktober 2014.